支持key过期失效和限制字典大小的开源项目 [python expire max length]

python 5,635 views
起因:      最近在写业务数据监控,既然是监控,那肯定是有不同时间区间的监控动作,放在linux下的crontab有些不合适了,因为有不同的函数要触犯,我不能为这堆函数定制一堆main()吧。用一些开源的计划任务工具,不是很让人满意。 在社区找了一...
阅读全文 3

支持key过期失效和限制字典大小的开源项目 [python expire max length]

08-28 5,635 views

起因:      最近在写业务数据监控,既然是监控,那肯定是有不同时间区间的监控动作,放在linux下的crontab有些不合适了,因为有不同的...
阅读全文 3

在tornado http代理服务上加入基本认证[basic auth]

python,tornado 7,624 views
起因 这两天在用tornado实现一个http代理,属于正向代理,同步的方式调用。  对于我这的应用场景是爬虫的代理,这代理服务会发布在各个公网云主机上。 但是放到公网就会遇到安全的问题,我想大家的web服务,经常会受到别人的嗅探包,主要是http proxy的方...
阅读全文 1

在tornado http代理服务上加入基本认证[basic auth]

08-26 7,624 views

起因 这两天在用tornado实现一个http代理,属于正向代理,同步的方式调用。  对于我这的应用场景是爬虫的代理,这代理服务会发布在各个公网云主机...
阅读全文 1

使用python实现高性能代理服务器 [tornado proxy]

python 10,750 views
今天跟大家聊下用python实现http代理那些事,首先先描述下他的应用场景,http代理也是正向代理,对于客户端来说,我只需要指定个proxy_server 就可以代理获取数据了。   至于场景,我这有两个场景会有帮助…. 第一个是爬虫代理,我可以在N个公网vps上,...
阅读全文 10

使用python实现高性能代理服务器 [tornado proxy]

08-21 10,750 views

今天跟大家聊下用python实现http代理那些事,首先先描述下他的应用场景,http代理也是正向代理,对于客户端来说,我只需要指定个proxy_server 就可以代理获...
阅读全文 10

使用profile分析python mysqldb遇到的性能问题

python 5,552 views
今天聊聊,如何使用mysql profiling调试python mysqldb遇到的性能问题 ? 这两天有几个烂需求,各种各样的统计数据。其中sql语句中含有like 这样的模糊查询,本来这东西不复杂,但mysql like是需要用% %符号的,恰好python的string转义用的也是% … 爬虫...
阅读全文 2

使用profile分析python mysqldb遇到的性能问题

08-18 5,552 views

今天聊聊,如何使用mysql profiling调试python mysqldb遇到的性能问题 ? 这两天有几个烂需求,各种各样的统计数据。其中sql语句中含有like 这样的模糊查询,...
阅读全文 2

用python开发比SimpleHTTPServer更好的文件服务器 [上传下载]

python 6,958 views
前几天在服务器文件传输文件的时候,遇到了一些恶心的事情…    很多时候scp和rsync是没有打通免密钥的,每次输入我那密码,很是费劲。  我相信大家也会经常用SimpleHTTPServer来下载文件,他性能不好,接口是堵塞的,同时只能一个人下来...
阅读全文 0

用python开发比SimpleHTTPServer更好的文件服务器 [上传下载]

08-09 6,958 views

前几天在服务器文件传输文件的时候,遇到了一些恶心的事情…    很多时候scp和rsync是没有打通免密钥的,每次输入我那密码,很是费劲。...
阅读全文 0

解决hbase跑mapreduce时遇到内存及超时问题

DB,python 5,427 views
这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化跑任务出点小问题。 今上午,自动化都解决后,又……….. 下面这是跑mapreduce回溯...
阅读全文 2

解决hbase跑mapreduce时遇到内存及超时问题

08-04 5,427 views

这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化...
阅读全文 2

python版shadowsocks流量及用户管理开发

python 10,370 views
上周五回青岛了,让我不爽的是航班因为天气问题被取消了,然后回北京的时候,特么飞机起飞的时间又拖延了2个小时,特么真倒霉… … 在北京T3机场的时候,碰到几个屌丝,长那样就是个IT屌丝的样子… 本来没眯一会的,但是他们的声音有些大,各种pyth...
阅读全文 5

python版shadowsocks流量及用户管理开发

08-03 10,370 views

上周五回青岛了,让我不爽的是航班因为天气问题被取消了,然后回北京的时候,特么飞机起飞的时间又拖延了2个小时,特么真倒霉… … 在北京T3机场...
阅读全文 5

详细讲述python自省函数getattr的用法

python 7,468 views
这两天看了公司的老代码,发现有大量的在用getattr….  虽然在不得已的时候,也会考虑用getattr,只是没这么频繁而已….     这边的getattr主要是用在函数调用上,比如一个简单的rpc服务,里面注册了N个函数,这时候,客户端是知道自...
阅读全文 0

详细讲述python自省函数getattr的用法

07-27 7,468 views

这两天看了公司的老代码,发现有大量的在用getattr….  虽然在不得已的时候,也会考虑用getattr,只是没这么频繁而已….     ...
阅读全文 0

使用python实现分布式自增id算法

python 5,507 views
这两天在看大规模分布式系统架构与设计实战,让我受益良多,尤其是从底层的架构上了解了分布式整体架构,及其各个功能组件是如何协调的。 书里面多次的提到了分布式id,但是没有阐述是分布式自增id是怎么玩的… …   记得去年去百度面试也有问过分...
阅读全文 0

使用python实现分布式自增id算法

07-26 5,507 views

这两天在看大规模分布式系统架构与设计实战,让我受益良多,尤其是从底层的架构上了解了分布式整体架构,及其各个功能组件是如何协调的。 书里面多次的提到...
阅读全文 0

扯扯在开发中python闭包的应用

python 4,630 views
跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得写类class。  我就直接用闭包。。  闭包(closure)是函数式编程的重要的语法结构。函数式编程...
阅读全文 0

扯扯在开发中python闭包的应用

07-22 4,630 views

跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得...
阅读全文 0

python使用master worker管理模型开发服务端

python 7,088 views
今天聊聊,我在用python开发服务端时,用到的master worker进程管理模型….        上次在外面做分享的时候,不少人对这个Master worker模式很感兴趣…    我想说的是,python写服务端虽然性能没有C,哪怕新潮的Gola...
阅读全文 4

python使用master worker管理模型开发服务端

07-13 7,088 views

今天聊聊,我在用python开发服务端时,用到的master worker进程管理模型….        上次在外面做分享的时候,不少人对这个M...
阅读全文 4

扯扯python的多线程的同步锁 Lock RLock Semaphore Event Condition

python 5,912 views
我想大家都知道python的gil限制,记得刚玩python那会,知道了有pypy和Cpython这样的解释器,当时听说是很猛,也就意味肯定是突破了gil的限制,最后经过多方面测试才知道,还是那德行…. 如果你的应用英语那种cpu密集运算的,p大部分情况都推荐使用多进程...
阅读全文 0

扯扯python的多线程的同步锁 Lock RLock Semaphore Event Condition

07-10 5,912 views

我想大家都知道python的gil限制,记得刚玩python那会,知道了有pypy和Cpython这样的解释器,当时听说是很猛,也就意味肯定是突破了gil的限制,最后经...
阅读全文 0

使用python多线程threading的timer实现任务定时器

python 7,979 views
跟同事聊起了delayqueue的实现delayqueue是啥? 听着名字就知道是延迟队列,也可以理解为是基于时间的定时任务队列.  delayqueue又有什么用处?  比如你维护了一个连接池,但是因为各种原因,你需要把这一堆的链接超过5分钟的长连接给干掉,重新创建个新的...
阅读全文 0

使用python多线程threading的timer实现任务定时器

07-03 7,979 views

跟同事聊起了delayqueue的实现delayqueue是啥? 听着名字就知道是延迟队列,也可以理解为是基于时间的定时任务队列.  delayqueue又有什么用处?  ...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

python 7,314 views
最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   scan扫描库是,定时的统计计算上个小时的各种数据,不管是从mysql或者是hbase….   实...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

07-01 7,314 views

最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   ...
阅读全文 0

使用python的mysqldb做like模糊查询时遇到的问题

python 7,181 views
恩,mysql的模糊查询是大家常用的,今天在用python做域名统计的时候,遇到了相当的问题。。。。    主要是  fieldname like “%nima%” ,这语句在mysqldb的模块中会导致被转义。 文章的原文,http://xiaorui.cc/?p=1702   下...
阅读全文 4

使用python的mysqldb做like模糊查询时遇到的问题

06-30 7,181 views

恩,mysql的模糊查询是大家常用的,今天在用python做域名统计的时候,遇到了相当的问题。。。。    主要是  fieldname like “%nima%&...
阅读全文 4

python实现多进程监听同一个socket的prefork服务端模型

python 7,079 views
这两天迁移数据,没时间写博客了……   正好这两天跟同事聊了下prefork模式,就拿出来聊聊。。。 如果你跟我一样是python程序员,我很建议你用prefork+gevent协程的方式。 python实现socket服务相当的容易,但是默认是单进程状态,是堵塞的&#...
阅读全文 4

python实现多进程监听同一个socket的prefork服务端模型

06-16 7,079 views

这两天迁移数据,没时间写博客了……   正好这两天跟同事聊了下prefork模式,就拿出来聊聊。。。 如果你跟我一样是python程序员,我很建议...
阅读全文 4

python使用esmre代替ahocorasick实现ac自动机[多模匹配]

python 5,028 views
为什么会用AC自动机? 如果你想知道一篇文章有没有你要过滤的敏感词,怎么办? 不可能用正则一个个的匹配吧?  敏感词超过300个之后,用Trie来构建模式树 (字典树)的速度优势相当的明显… … Hello Boys , 文章的原文转自 http://xiaorui.c...
阅读全文 0

python使用esmre代替ahocorasick实现ac自动机[多模匹配]

06-13 5,028 views

为什么会用AC自动机? 如果你想知道一篇文章有没有你要过滤的敏感词,怎么办? 不可能用正则一个个的匹配吧?  敏感词超过300个之后,用Trie来构建模...
阅读全文 0

如何用python简单的设计开发异步任务调度队列

python 7,174 views
什么是任务调度队列,在python里面有不少这样的好东西,比如celery,RQ,huey    。  这三个我都用过,也都是在线上的环境下应用,分布式的节点也有不少。  他主要是解决任务的异步性,比如你找回密码的时候需要邮件的发送token,这时候不太可...
阅读全文 3

如何用python简单的设计开发异步任务调度队列

06-07 7,174 views

什么是任务调度队列,在python里面有不少这样的好东西,比如celery,RQ,huey    。  这三个我都用过,也都是在线上的环境下应用,分布式的...
阅读全文 3

多分支切换下使用git stash暂存not commit的状态

git,python 5,226 views
还是接上次那个茬,这星期出了各种的问题,各种的队列堆积堵塞,各种因为变动引起的bug,导致被打成筛子了。  问题都集中在这两天,针对每个问题的解决都要创建一个分支,修改相对应的功能模块,然后测试成功后打成docker image上线。事情有些紧急,N个任务一...
阅读全文 1

多分支切换下使用git stash暂存not commit的状态

06-05 5,226 views

还是接上次那个茬,这星期出了各种的问题,各种的队列堆积堵塞,各种因为变动引起的bug,导致被打成筛子了。  问题都集中在这两天,针对每个问题的解...
阅读全文 1

如何实现python的mysql连接池并加入缓存过期

python 7,973 views
这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级连接池的实现,所以高级连接池就是一次构建实例的时候,他会一次性创建出指定个数的链接对象,然后会把这些...
阅读全文 0

如何实现python的mysql连接池并加入缓存过期

06-01 7,973 views

这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

Golang,python 5,381 views
我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在多个节点上,发布了docker化的关键词匹配服务。  关键词匹配服务的服务器数量已经到了10台,里面的代码...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

05-30 5,381 views

我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在...
阅读全文 0