如何实现python的mysql连接池并加入缓存过期

python 8,501 views
这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级连接池的实现,所以高级连接池就是一次构建实例的时候,他会一次性创建出指定个数的链接对象,然后会把这些...
阅读全文 0

如何实现python的mysql连接池并加入缓存过期

06-01 8,501 views

这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

Golang,python 5,840 views
我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在多个节点上,发布了docker化的关键词匹配服务。  关键词匹配服务的服务器数量已经到了10台,里面的代码...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

05-30 5,840 views

我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在...
阅读全文 0

gevent源代码分析之用gevent threadpool实现多进程任务调度

python 8,399 views
这两天出了两个事故,一个是因为正负面的接口被被人疯狂访问而变得堵塞,导致整个动态网页解析解析的崩溃,最后redis挂掉。 还有一个事情是动态ip轮询模块的bug。。。 多事之秋呀。  这几个晚上一直尝试看gevent的源代码,收获特别的大,gevent本身的一些实现...
阅读全文 3

gevent源代码分析之用gevent threadpool实现多进程任务调度

05-29 8,399 views

这两天出了两个事故,一个是因为正负面的接口被被人疯狂访问而变得堵塞,导致整个动态网页解析解析的崩溃,最后redis挂掉。 还有一个事情是动态ip轮询模块...
阅读全文 3

在python中使用gevent subprocess实现shell调用

python 7,440 views
有个人问我gevent怎么实现非堵塞的系统调用,当然threading是可以实现的, 但是大家知道threading是不太可控的。 python实现系统调用的模块还是很多的,比如subprocess,os popen,commands等。  现在高并发的服务基本都是这种协程实现的。 协程是个用户态的东...
阅读全文 0

在python中使用gevent subprocess实现shell调用

05-28 7,440 views

有个人问我gevent怎么实现非堵塞的系统调用,当然threading是可以实现的, 但是大家知道threading是不太可控的。 python实现系统调用的模块还是很多的,比...
阅读全文 0

解决python操作redis cluster集群时遇到的问题

DB,python 9,945 views
今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issue里也看到了别人也同样遇到我这样的问题… …    提示的错误是这样的… ...
阅读全文 1

解决python操作redis cluster集群时遇到的问题

05-17 9,945 views

今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issu...
阅读全文 1

python使用redis-py-cluster操作redis cluster集群

python 9,741 views
redis3.0的集群已经搭建完了,那么开始用python来操作redis cluster集群试试,但是默认的redis模块已经是不能在使用了。  会提示下面的错误….. 关于python redis-py-cluster操作redis cluster集群原文地址 , http://xiaorui.cc/2015/05/16/pyt...
阅读全文 0

python使用redis-py-cluster操作redis cluster集群

05-16 9,741 views

redis3.0的集群已经搭建完了,那么开始用python来操作redis cluster集群试试,但是默认的redis模块已经是不能在使用了。  会提示下面的错误….. ...
阅读全文 0

python实现influxdb的orm对象关系映射模型

DB,python 6,332 views
对于数据库操作的时候,我个人特别的倾向于用ORM这种对象映射模型, 可以让你最舒服的操作数据库,另外也可以最简单的实现数据库…    比如我写后端服务的时候,如果用mysqldb,那么想当的蛋疼…    来来回回的折腾的,在大量的参数...
阅读全文 0

python实现influxdb的orm对象关系映射模型

05-13 6,332 views

对于数据库操作的时候,我个人特别的倾向于用ORM这种对象映射模型, 可以让你最舒服的操作数据库,另外也可以最简单的实现数据库…    比如...
阅读全文 0

python使用pydisque实现操作disque消息队列

python 5,655 views
关于disque的介绍,我这里就不多啰嗦了,以前写过disque的介绍,大家可以看看比较详细的介绍及安装. http://xiaorui.cc/?p=1402 我这边的主要开发是用python …. …. disque是个比较奇特的消息队列,东西不大,但是精而全,单纯做队列,要比r...
阅读全文 0

python使用pydisque实现操作disque消息队列

05-11 5,655 views

关于disque的介绍,我这里就不多啰嗦了,以前写过disque的介绍,大家可以看看比较详细的介绍及安装. http://xiaorui.cc/?p=1402 我这边的主要开...
阅读全文 0

使用Disque做分布式消息队列支持重试和ack确认

python 5,646 views
使用Disque做分布式消息队列支持重试和ack确认 …. …. 国际惯例,这里标记下文章的原文链接,   http://xiaorui.cc/?p=1402   xiaorui.cc xiaorui.cc xiaorui.cc xiaorui.cc 最近看群里有人在用Disque这个...
阅读全文 2

使用Disque做分布式消息队列支持重试和ack确认

05-10 5,646 views

使用Disque做分布式消息队列支持重试和ack确认 …. …. 国际惯例,这里标记下文章的原文链接,   http://xiaorui.cc/?p=1402 &...
阅读全文 2

python使用redis事务时遇到multi、watch和锁的问题

python 8,426 views
前段时间也读了下python的redis库的源码,看的时候也有些跳跃和粗糙,但是基本大概的过了下…. …. 越来越发现redis很是不简单…    有时间分享下对于redis库的一些理解。  redis本身应对外部请求的是单任务的,也是多线...
阅读全文 0

python使用redis事务时遇到multi、watch和锁的问题

05-09 8,426 views

前段时间也读了下python的redis库的源码,看的时候也有些跳跃和粗糙,但是基本大概的过了下…. …. 越来越发现redis很是不简单…  ...
阅读全文 0

python使用itertools cycle实现RR(round robin)轮询接口

python 5,819 views
说起RR (round robin)平均轮询,我想大家都知道的,常见的负载均衡服务器,比如 nginx、haproxy、lvs 都是支持轮询调度的…   公司有几个高人现着手开发公网爬虫的架构,分布式的http代理。   我这边会大量的调用他的http代理,这就用到了轮询...
阅读全文 3

python使用itertools cycle实现RR(round robin)轮询接口

05-07 5,819 views

说起RR (round robin)平均轮询,我想大家都知道的,常见的负载均衡服务器,比如 nginx、haproxy、lvs 都是支持轮询调度的…   公司有几个高...
阅读全文 3

使用nginx的stream tcp模块实现hbase的thrift负载

python 7,192 views
昨天已经发了篇文章,说 nginx1.9版本涵盖了ngx_stream_core_module的功能, ngx_stream_core_module是可以对tcp server进行负载均衡的。 不知道是官网针对stream的conf配置没有更新完整,还是stream本身附带的参数就不多,总觉得nginx官方出的ngx_stream_cor...
阅读全文 3

使用nginx的stream tcp模块实现hbase的thrift负载

7,192 views

昨天已经发了篇文章,说 nginx1.9版本涵盖了ngx_stream_core_module的功能, ngx_stream_core_module是可以对tcp server进行负载均衡的。 不知道是官...
阅读全文 3

python使用json web token (jwt)实现http api的加密传输

python 9,649 views
什么是json web token (jwt) , 这个一个协议安全的标准,用来保证数据的一致性及安全性的。 这次说下加jwt的非对称加密方式.   注: rsa的性能很烂… 先聊聊,咱们常用的对于http api加密的方式有哪几种?  文章的原文地址是,...
阅读全文 0

python使用json web token (jwt)实现http api的加密传输

05-05 9,649 views

什么是json web token (jwt) , 这个一个协议安全的标准,用来保证数据的一致性及安全性的。 这次说下加jwt的非对称加密方式.   注: rsa的性能很...
阅读全文 0

关于python使用批量方式插入hbase的性能测试

python 5,409 views
这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒吧, 花了我2000多快,因为没有散台了,这种时候让人等到有散台会很没有意思的….  所以直接去了...
阅读全文 1

关于python使用批量方式插入hbase的性能测试

05-03 5,409 views

这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒...
阅读全文 1

python实现代码更新后实时自动reload机制

python 5,785 views
以前分享了一个监控到代码更新后程序自动reload的机制,当时用的是监控启动文件md5的机制。  现在换了一种方法, 用watchdog来监控文件的更新状态。  watchdog相比以前的方法,方便的实现了关于多个文件的监控,或是针对文件夹的监控…   借助...
阅读全文 0

python实现代码更新后实时自动reload机制

04-28 5,785 views

以前分享了一个监控到代码更新后程序自动reload的机制,当时用的是监控启动文件md5的机制。  现在换了一种方法, 用watchdog来监控文件的更新状态。 &...
阅读全文 0

python开发支持edns扩展协议的dns服务器

python 5,973 views
恩,这两天正在看dns的东西, 对dns的edns的协议很是感兴趣….  有人估计还不知道edns是啥?  简单的来说,我们选用了google的dns地址来做dns的解析,但是如果没有扩展协议的话,我们会在之恩给你的dns层把你识别为国外的用户。 那么后来谷歌提出一...
阅读全文 0

python开发支持edns扩展协议的dns服务器

04-24 5,973 views

恩,这两天正在看dns的东西, 对dns的edns的协议很是感兴趣….  有人估计还不知道edns是啥?  简单的来说,我们选用了google的dns地址来做d...
阅读全文 0

python使用happybase thrift库实现hbase的scan搜索

python 7,932 views
原文链接是在    http://xiaorui.cc  我想有些人可能不太懂python thrift scan的用法,我这边写个我自己常用的一个场景实现,查看某个列族里面以xxx开头的 …  恩, 先用happybase实现一个简单的scan,row_prefix的实现… ...
阅读全文 3

python使用happybase thrift库实现hbase的scan搜索

04-22 7,932 views

原文链接是在    http://xiaorui.cc  我想有些人可能不太懂python thrift scan的用法,我这边写个我自己常用的一个场景实现,查看某...
阅读全文 3

分享python实现的lfu缓存模块-pylfu

python 4,507 views
根据老外的一篇文章改成的lfu模块,我发现在github或者是pypi里面是有大量的lru代码,但是lfu的反而没有,看来和我一样都喜欢用fifo和lru的算法。。。 那我自己麻烦点,放到开源的库里面, 供应大家下载。  老外的原文连接是在 http://code.activestate.com/r...
阅读全文 5

分享python实现的lfu缓存模块-pylfu

04-21 4,507 views

根据老外的一篇文章改成的lfu模块,我发现在github或者是pypi里面是有大量的lru代码,但是lfu的反而没有,看来和我一样都喜欢用fifo和lru的算法。。。 那我...
阅读全文 5

基于最少使用频次的LFU缓存淘汰算法

python 5,810 views
概念分析        LFU(Least Frequently Used)即最近最不常用.看名字就知道是个基于访问频次的一种算法。以前写过几篇关于用python实现lru算法的模块,有兴趣的朋友可以看看。 LRU是基于时间的,会将时间上最不常访问的数据给淘汰,在算法表...
阅读全文 2

基于最少使用频次的LFU缓存淘汰算法

04-20 5,810 views

概念分析        LFU(Least Frequently Used)即最近最不常用.看名字就知道是个基于访问频次的一种算法。以前写过几篇关于用python...
阅读全文 2

python OrderedDict实现有expire和max的队列和缓存服务

python 6,938 views
    周天又寂寞了….今天天气不是太好,有些阴冷,估计大街上的小妞肯定不会穿裙子…   估计不能拿着板凳去看美女的大腿了….        最近一直对服务端的开发很是感兴趣,python本身的数据结构是很容易实现...
阅读全文 2

python OrderedDict实现有expire和max的队列和缓存服务

04-19 6,938 views

    周天又寂寞了….今天天气不是太好,有些阴冷,估计大街上的小妞肯定不会穿裙子…   估计不能拿着板凳去看美女的大腿了…...
阅读全文 2

使用装饰器为tornado restful api做异常处理

python,tornado 5,513 views
公司正在启动对外供应数据的业务,是两个高手负责, 架构方面看起来很是浏览,nginx lua tornado的组合,识别一些自然语法,由ast语法树来解析构建规则。   遇到一个规范的问题,不是所有的第三方的调用是合法的,这里说的合法更多的是符不符合特定语法的规则...
阅读全文 1

使用装饰器为tornado restful api做异常处理

04-17 5,513 views

公司正在启动对外供应数据的业务,是两个高手负责, 架构方面看起来很是浏览,nginx lua tornado的组合,识别一些自然语法,由ast语法树来解析构建规则。 &...
阅读全文 1