从redis转移到mongodb做任务队列增删改查管理

前言:

     使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个key并删除清空队列,有可能会根据一些content的字段来进行删除,有可能是会针对发件人,或者是时间段来删除,更有傻逼的还要求可以修改文件的内容。 

Hello , 原文地址是 blog.xiaorui.cc

      这个时候用redis真的不太适合了,因为redis的队列只能是一条条的记录而已,当然咱们也可以只是存一个任务id,然后放到redis hash来做。处理的时候,处理的逻辑有些复杂,算了,直接用mongodb做吧。   其实选择mongodb做队列的原因很简单,性能可以,在这种场景下查询起来不比mysql差。

import pymongo
import time
connection=pymongo.Connection('localhost',27017)
#库
db = connection.test
#表
posts=db.test
ltime=time.time()
posts.insert({'good':1,'jid':ltime})
posts.find({'jid':ltime})

后端的进程,一直取数据。

posts.find({'jid':ltime}).sort('ltime',pymongo.DESCENDING)

取到任务后,扔给后面的进程来出来。

posts.remove({'jid':ltime})

当然仅此这样肯定是不行的,因为这样不能保证原子操作,在任务并发的时候,你还来不及删除的时候,这个任务已经又被别人搞去了 。  这个时候怎么办?  怎么解决控制原子问题。


第一个方法是文件锁的方式,findAndModify  这个函数,查询的时候,删除可以remove或者是update

第二个方法是mq派发的模式,拿出一个后端进程专门取数据,然后派发给别的线程。就这么简单。

下面是我用mongo做队列的效果,仅供参考。。。。

在线上跑了一段时间了,Mongodb的做完索引后,性能还是很不错的。


大家觉得文章对你有些作用! 如果想赏钱,可以用微信扫描下面的二维码,感谢!
另外再次标注博客原地址  xiaorui.cc

发表评论

邮箱地址不会被公开。 必填项已用*标注