请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

python OrderedDict实现有expire和max的队列和缓存服务

python 8,194 views
    周天又寂寞了….今天天气不是太好,有些阴冷,估计大街上的小妞肯定不会穿裙子…   估计不能拿着板凳去看美女的大腿了….        最近一直对服务端的开发很是感兴趣,python本身的数据结构是很容易实现队列或者是缓存的服务的。  我曾经实现一个python...
阅读全文 2

python OrderedDict实现有expire和max的队列和缓存服务

4-19 8,194 views

    周天又寂寞了….今天天气不是太好,有些阴冷,估计大街上的小妞肯定不会穿裙子…   估计不能拿着板凳去看美女的大腿了…...
阅读全文 2

分布式爬虫之python动态获取随机选择出口ip

python 11,548 views
这两天有几个朋友都在问我,你们爬虫的多ip方案是如何搞定的。   其实我们的方案多元化的,根据历史遗留的问题,大部分是采用的分布式http代理的方式,也就是开了n个虚拟机,然后安装http代理的服务,以前是squid做正向代理.  因为squid代理专业是专业,但是不够轻型。So , 用twisted构建了一个...
阅读全文 3

分布式爬虫之python动态获取随机选择出口ip

4-07 11,548 views

这两天有几个朋友都在问我,你们爬虫的多ip方案是如何搞定的。   其实我们的方案多元化的,根据历史遗留的问题,大部分是采用的分布式htt...
阅读全文 3

python实现获取根据日期时间切分的数据库的调度信息

python 7,015 views
哥很是寂寞呀…    寂寞…. …. 年后负责的回溯的任务,数据已经从hbase转移到了ES里面。  替换的原因不是Hbase不行,而是 我们的回溯任务更加的适合用ES全文索引的功能。  这块业务的逻辑,一开始不是我负责的,那哥们当时采用Hbase作为数据的存储,究其原因还是因为没地方...
阅读全文 0

python实现获取根据日期时间切分的数据库的调度信息

3-04 7,015 views

哥很是寂寞呀…    寂寞…. …. 年后负责的回溯的任务,数据已经从hbase转移到了ES里面。  替换的原因不是Hbase不行,而...
阅读全文 0

大并发下socket通信连接时会导致TCP自连接

python 7,387 views
    今天是2015的第二天了, 心情有些不佳,遇到的狗屎问题更是心情不爽 !还好妈蛋的给解决了 !     问题提示说大不大,说小不小的 ~    TCP的自连接就是client和server bind的端口碰上了 !导致出现连接的异常。 用python来模拟TCP自连接的现象。  ...
阅读全文 1

大并发下socket通信连接时会导致TCP自连接

1-02 7,387 views

    今天是2015的第二天了, 心情有些不佳,遇到的狗屎问题更是心情不爽 !还好妈蛋的给解决了 !     问题提示说大不大,说小不小...
阅读全文 1

celery rabbitmq实现任务队列的异步执行

python 11,797 views
前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hello ,最近总是被爬虫,标记下博客的原文地址 blog.xiaorui.cc 对于上面的场景,我曾经用tornado和gevent的方案解决,但是在我的理解范围下,感...
阅读全文 0

celery rabbitmq实现任务队列的异步执行

11-16 11,797 views

前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hel...
阅读全文 0

使用bottle和gevent实现简单批量管理ssh keys项目

运维开发 7,528 views
前言:         话说,以前在人人网负责开发跳板机权限管理的时候,想到了用saltstack key模块做公钥的管理,但是因为最后涉及到saltstack不是太安全,放弃了。貌似现在开源社区里,没有好点的有关ssh key管理的项目。反正闲来无事,搞之 ! 大家关注下我的博客,原文地址: b...
阅读全文 0

使用bottle和gevent实现简单批量管理ssh keys项目

11-16 7,528 views

前言:         话说,以前在人人网负责开发跳板机权限管理的时候,想到了用saltstack key模块做公钥的管理,但是因为最后涉及到sal...
阅读全文 0

使用python的并发库concurrent.futures实现异步

python 16,736 views
第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异步才可以的。而且如果用futures之后,在一定程度上缓解了这个事情。  concurrent.futures 是python3新增加的一个库,用于并发处理,类似于其他语言里的线...
阅读全文 1

使用python的并发库concurrent.futures实现异步

11-15 16,736 views

第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异...
阅读全文 1

Python使用基于json文件的tinydb数据库

python 8,303 views
为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(W / O试验)。 面向文件:如MongoDB,您可以存储任何文件(表示为dict)在TinyDB。 为了你的幸福,优化:TinyDB的设计是简单的和有趣的使用提供了一个简单和干净...
阅读全文 0

Python使用基于json文件的tinydb数据库

10-11 8,303 views

为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(...
阅读全文 0