请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

python zookeeper解决redis做分布式锁带来的坑

python 8,039 views
我自己写了一个redis分布式锁的模块,已经推到pypi里面了。 但是带来了一个问题是,如果客户端自己因为内存泄露被系统内核给oom干掉了。 在分布式的架构下,一堆的节点去获取锁是徒劳的,只能等我们先前redis的TTL自动消逝….当然我自己也扩展了一个追加时间戳的方式,来判断他的进程在不在,但是可能...
阅读全文 0

python zookeeper解决redis做分布式锁带来的坑

4-09 8,039 views

我自己写了一个redis分布式锁的模块,已经推到pypi里面了。 但是带来了一个问题是,如果客户端自己因为内存泄露被系统内核给oom干掉了。 在分布...
阅读全文 0

python rq任务队列是如何实现优先级队列 [上]

python 8,575 views
这段时间跟同事聊了些任务优先级队列的话题,正好我们这把大量的celery抛弃,开始用rq来做任务队列,因为celery太大,所以改造起来甚是恶心到爆,还不如选择一个简单干练的python rq。 xiaorui.cc xiaorui.cc xiaorui.cc xiaorui.cc 微信的抓取api,我是用django写的,任务队列也是用django-rq,...
阅读全文 4

python rq任务队列是如何实现优先级队列 [上]

4-01 8,575 views

这段时间跟同事聊了些任务优先级队列的话题,正好我们这把大量的celery抛弃,开始用rq来做任务队列,因为celery太大,所以改造起来甚是恶心到爆,还不如选...
阅读全文 4

折腾redis的sorted set数据结构Skip List跳跃表

python 7,896 views
我旁边的同时一直在捣鼓redis的分页功能,详细的分析了list和sorted set的两个结构.   我自己也对sorted set的数据结构很是感兴趣…  我这边的有个微信抓取的任务就是用python rq做的,里面的选用的redis数据类型就是sorted set…   这里不是重点,有时间专门写一篇关于redis实现时序任务队...
阅读全文 2

折腾redis的sorted set数据结构Skip List跳跃表

3-27 7,896 views

我旁边的同时一直在捣鼓redis的分页功能,详细的分析了list和sorted set的两个结构.   我自己也对sorted set的数据结构很是感兴趣…  我这...
阅读全文 2