mongodump按照日期时间范围导出数据

mongodb 5,066 views
最近数据大迁移,Mysql迁移已经完成,但是因为上海机房的硬盘不像ssd那么给力…  Hbase是通过thrift来对导..   今天要从mongodb导出些业务数据,做一些测试。 下面是mongo里面的数据格式,created_on是时间字段。  我们要做的是,按照日...
阅读全文 0

mongodump按照日期时间范围导出数据

08-07 5,066 views

最近数据大迁移,Mysql迁移已经完成,但是因为上海机房的硬盘不像ssd那么给力…  Hbase是通过thrift来对导..   今天要从mongodb导出些...
阅读全文 0

从redis转移到mongodb做任务队列增删改查管理

DB,mongodb,python 7,752 views
前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个key并删除清空队列,有可能会根据一些content的字段来进行删除,有可能是会针对发件人,或者是时间段来删除...
阅读全文 0

从redis转移到mongodb做任务队列增删改查管理

11-11 7,752 views

前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个k...
阅读全文 0

小计-python调用pymongo模糊正则查询的方法

mongodb,python 6,798 views
这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实让人闹心。  mongodb shell模式的模糊查询是用,db.project.find({‘name’:/xiaorui.cc...
阅读全文 4

小计-python调用pymongo模糊正则查询的方法

11-04 6,798 views

这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实...
阅读全文 4

tornado异步非堵塞方案用motor操作mongodb

mongodb,web 6,689 views
tornado操作mongodb的时候,会堵塞别的访问, motor可以解决这个堵塞的问题,motor是用callback回调的方式,避免一直堵塞线程 ~  Python import tornado.web, tornado.ioloop import motor class NewMessageHandl...
阅读全文 0

tornado异步非堵塞方案用motor操作mongodb

05-27 6,689 views

tornado操作mongodb的时候,会堵塞别的访问, motor可以解决这个堵塞的问题,motor是用callback回调的方式,避免一直堵塞线程 ~  ...
阅读全文 0

mongodb实现数据分页

mongodb 6,411 views
db.reportops_log.find().skip(155000).limit(10) 速度还行,但是skip到100w条数据后,就有点sb了,速度慢慢的下来了,毕竟他每次都要skip跳过100w条数据,当然谁没事这么蛋疼去看这么多的数据。 大量数据下,咱们一般会条件性质的查询。  ...
阅读全文 0

mongodb实现数据分页

05-02 6,411 views

db.reportops_log.find().skip(155000).limit(10) 速度还行,但是skip到100w条数据后,就有点sb了,速度慢慢的下来了,毕竟他每次都要skip...
阅读全文 0

mongodb的日期时间的插入及查询

mongodb 11,379 views
大家一定要注意下时间,时间要指定注入,别用mongodb自带的 new date了,他的时间是utc的时间,和咱们中国时区少8个小时。 当然你要是不觉得麻烦的话,可用python的pymongo库做一些时间的调整,但是还是麻烦。。。。  还是插入指定的时间把。 ...
阅读全文 0

mongodb的日期时间的插入及查询

05-01 11,379 views

大家一定要注意下时间,时间要指定注入,别用mongodb自带的 new date了,他的时间是utc的时间,和咱们中国时区少8个小时。 当然你要是不觉得麻烦的...
阅读全文 0

项目中使用python mongodb遇到的问题

mongodb,python 4,359 views
一开始以为pymongo不知吃objectid来获取信息,搞了好久,最后不得不放弃,在每个json里面做加了一个时间和token的key    今天和朋友聊了起来,才知道需要引入bson的objectid的库就行了。。。。 通过objectid获取相关的信息: from bson.ob...
阅读全文 0

项目中使用python mongodb遇到的问题

04-30 4,359 views

一开始以为pymongo不知吃objectid来获取信息,搞了好久,最后不得不放弃,在每个json里面做加了一个时间和token的key    今天和朋友聊了起来,才...
阅读全文 0