使用profile分析python mysqldb遇到的性能问题

python 5,312 views
今天聊聊,如何使用mysql profiling调试python mysqldb遇到的性能问题 ? 这两天有几个烂需求,各种各样的统计数据。其中sql语句中含有like 这样的模糊查询,本来这东西不复杂,但mysql like是需要用% %符号的,恰好python的string转义用的也是% … 爬虫...
阅读全文 2

使用profile分析python mysqldb遇到的性能问题

08-18 5,312 views

今天聊聊,如何使用mysql profiling调试python mysqldb遇到的性能问题 ? 这两天有几个烂需求,各种各样的统计数据。其中sql语句中含有like 这样的模糊查询,...
阅读全文 2

用python开发比SimpleHTTPServer更好的文件服务器 [上传下载]

python 6,663 views
前几天在服务器文件传输文件的时候,遇到了一些恶心的事情…    很多时候scp和rsync是没有打通免密钥的,每次输入我那密码,很是费劲。  我相信大家也会经常用SimpleHTTPServer来下载文件,他性能不好,接口是堵塞的,同时只能一个人下来...
阅读全文 0

用python开发比SimpleHTTPServer更好的文件服务器 [上传下载]

08-09 6,663 views

前几天在服务器文件传输文件的时候,遇到了一些恶心的事情…    很多时候scp和rsync是没有打通免密钥的,每次输入我那密码,很是费劲。...
阅读全文 0

解决hbase跑mapreduce时遇到内存及超时问题

DB,python 5,227 views
这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化跑任务出点小问题。 今上午,自动化都解决后,又……….. 下面这是跑mapreduce回溯...
阅读全文 2

解决hbase跑mapreduce时遇到内存及超时问题

08-04 5,227 views

这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化...
阅读全文 2

python版shadowsocks流量及用户管理开发

python 9,850 views
上周五回青岛了,让我不爽的是航班因为天气问题被取消了,然后回北京的时候,特么飞机起飞的时间又拖延了2个小时,特么真倒霉… … 在北京T3机场的时候,碰到几个屌丝,长那样就是个IT屌丝的样子… 本来没眯一会的,但是他们的声音有些大,各种pyth...
阅读全文 5

python版shadowsocks流量及用户管理开发

08-03 9,850 views

上周五回青岛了,让我不爽的是航班因为天气问题被取消了,然后回北京的时候,特么飞机起飞的时间又拖延了2个小时,特么真倒霉… … 在北京T3机场...
阅读全文 5

详细讲述python自省函数getattr的用法

python 7,111 views
这两天看了公司的老代码,发现有大量的在用getattr….  虽然在不得已的时候,也会考虑用getattr,只是没这么频繁而已….     这边的getattr主要是用在函数调用上,比如一个简单的rpc服务,里面注册了N个函数,这时候,客户端是知道自...
阅读全文 0

详细讲述python自省函数getattr的用法

07-27 7,111 views

这两天看了公司的老代码,发现有大量的在用getattr….  虽然在不得已的时候,也会考虑用getattr,只是没这么频繁而已….     ...
阅读全文 0

使用python实现分布式自增id算法

python 5,256 views
这两天在看大规模分布式系统架构与设计实战,让我受益良多,尤其是从底层的架构上了解了分布式整体架构,及其各个功能组件是如何协调的。 书里面多次的提到了分布式id,但是没有阐述是分布式自增id是怎么玩的… …   记得去年去百度面试也有问过分...
阅读全文 0

使用python实现分布式自增id算法

07-26 5,256 views

这两天在看大规模分布式系统架构与设计实战,让我受益良多,尤其是从底层的架构上了解了分布式整体架构,及其各个功能组件是如何协调的。 书里面多次的提到...
阅读全文 0

扯扯在开发中python闭包的应用

python 4,463 views
跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得写类class。  我就直接用闭包。。  闭包(closure)是函数式编程的重要的语法结构。函数式编程...
阅读全文 0

扯扯在开发中python闭包的应用

07-22 4,463 views

跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得...
阅读全文 0

python使用master worker管理模型开发服务端

python 6,799 views
今天聊聊,我在用python开发服务端时,用到的master worker进程管理模型….        上次在外面做分享的时候,不少人对这个Master worker模式很感兴趣…    我想说的是,python写服务端虽然性能没有C,哪怕新潮的Gola...
阅读全文 4

python使用master worker管理模型开发服务端

07-13 6,799 views

今天聊聊,我在用python开发服务端时,用到的master worker进程管理模型….        上次在外面做分享的时候,不少人对这个M...
阅读全文 4

扯扯python的多线程的同步锁 Lock RLock Semaphore Event Condition

python 5,558 views
我想大家都知道python的gil限制,记得刚玩python那会,知道了有pypy和Cpython这样的解释器,当时听说是很猛,也就意味肯定是突破了gil的限制,最后经过多方面测试才知道,还是那德行…. 如果你的应用英语那种cpu密集运算的,p大部分情况都推荐使用多进程...
阅读全文 0

扯扯python的多线程的同步锁 Lock RLock Semaphore Event Condition

07-10 5,558 views

我想大家都知道python的gil限制,记得刚玩python那会,知道了有pypy和Cpython这样的解释器,当时听说是很猛,也就意味肯定是突破了gil的限制,最后经...
阅读全文 0

使用python多线程threading的timer实现任务定时器

python 7,585 views
跟同事聊起了delayqueue的实现delayqueue是啥? 听着名字就知道是延迟队列,也可以理解为是基于时间的定时任务队列.  delayqueue又有什么用处?  比如你维护了一个连接池,但是因为各种原因,你需要把这一堆的链接超过5分钟的长连接给干掉,重新创建个新的...
阅读全文 0

使用python多线程threading的timer实现任务定时器

07-03 7,585 views

跟同事聊起了delayqueue的实现delayqueue是啥? 听着名字就知道是延迟队列,也可以理解为是基于时间的定时任务队列.  delayqueue又有什么用处?  ...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

python 7,006 views
最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   scan扫描库是,定时的统计计算上个小时的各种数据,不管是从mysql或者是hbase….   实...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

07-01 7,006 views

最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   ...
阅读全文 0

使用python的mysqldb做like模糊查询时遇到的问题

python 6,744 views
恩,mysql的模糊查询是大家常用的,今天在用python做域名统计的时候,遇到了相当的问题。。。。    主要是  fieldname like “%nima%” ,这语句在mysqldb的模块中会导致被转义。 文章的原文,http://xiaorui.cc/?p=1702   下...
阅读全文 4

使用python的mysqldb做like模糊查询时遇到的问题

06-30 6,744 views

恩,mysql的模糊查询是大家常用的,今天在用python做域名统计的时候,遇到了相当的问题。。。。    主要是  fieldname like “%nima%&...
阅读全文 4

python实现多进程监听同一个socket的prefork服务端模型

python 6,689 views
这两天迁移数据,没时间写博客了……   正好这两天跟同事聊了下prefork模式,就拿出来聊聊。。。 如果你跟我一样是python程序员,我很建议你用prefork+gevent协程的方式。 python实现socket服务相当的容易,但是默认是单进程状态,是堵塞的&#...
阅读全文 4

python实现多进程监听同一个socket的prefork服务端模型

06-16 6,689 views

这两天迁移数据,没时间写博客了……   正好这两天跟同事聊了下prefork模式,就拿出来聊聊。。。 如果你跟我一样是python程序员,我很建议...
阅读全文 4

python使用esmre代替ahocorasick实现ac自动机[多模匹配]

python 4,743 views
为什么会用AC自动机? 如果你想知道一篇文章有没有你要过滤的敏感词,怎么办? 不可能用正则一个个的匹配吧?  敏感词超过300个之后,用Trie来构建模式树 (字典树)的速度优势相当的明显… … Hello Boys , 文章的原文转自 http://xiaorui.c...
阅读全文 0

python使用esmre代替ahocorasick实现ac自动机[多模匹配]

06-13 4,743 views

为什么会用AC自动机? 如果你想知道一篇文章有没有你要过滤的敏感词,怎么办? 不可能用正则一个个的匹配吧?  敏感词超过300个之后,用Trie来构建模...
阅读全文 0

如何用python简单的设计开发异步任务调度队列

python 6,808 views
什么是任务调度队列,在python里面有不少这样的好东西,比如celery,RQ,huey    。  这三个我都用过,也都是在线上的环境下应用,分布式的节点也有不少。  他主要是解决任务的异步性,比如你找回密码的时候需要邮件的发送token,这时候不太可...
阅读全文 3

如何用python简单的设计开发异步任务调度队列

06-07 6,808 views

什么是任务调度队列,在python里面有不少这样的好东西,比如celery,RQ,huey    。  这三个我都用过,也都是在线上的环境下应用,分布式的...
阅读全文 3

多分支切换下使用git stash暂存not commit的状态

git,python 4,934 views
还是接上次那个茬,这星期出了各种的问题,各种的队列堆积堵塞,各种因为变动引起的bug,导致被打成筛子了。  问题都集中在这两天,针对每个问题的解决都要创建一个分支,修改相对应的功能模块,然后测试成功后打成docker image上线。事情有些紧急,N个任务一...
阅读全文 1

多分支切换下使用git stash暂存not commit的状态

06-05 4,934 views

还是接上次那个茬,这星期出了各种的问题,各种的队列堆积堵塞,各种因为变动引起的bug,导致被打成筛子了。  问题都集中在这两天,针对每个问题的解...
阅读全文 1

如何实现python的mysql连接池并加入缓存过期

python 7,622 views
这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级连接池的实现,所以高级连接池就是一次构建实例的时候,他会一次性创建出指定个数的链接对象,然后会把这些...
阅读全文 0

如何实现python的mysql连接池并加入缓存过期

06-01 7,622 views

这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

Golang,python 5,125 views
我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在多个节点上,发布了docker化的关键词匹配服务。  关键词匹配服务的服务器数量已经到了10台,里面的代码...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

05-30 5,125 views

我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在...
阅读全文 0

gevent源代码分析之用gevent threadpool实现多进程任务调度

python 7,585 views
这两天出了两个事故,一个是因为正负面的接口被被人疯狂访问而变得堵塞,导致整个动态网页解析解析的崩溃,最后redis挂掉。 还有一个事情是动态ip轮询模块的bug。。。 多事之秋呀。  这几个晚上一直尝试看gevent的源代码,收获特别的大,gevent本身的一些实现...
阅读全文 3

gevent源代码分析之用gevent threadpool实现多进程任务调度

05-29 7,585 views

这两天出了两个事故,一个是因为正负面的接口被被人疯狂访问而变得堵塞,导致整个动态网页解析解析的崩溃,最后redis挂掉。 还有一个事情是动态ip轮询模块...
阅读全文 3

在python中使用gevent subprocess实现shell调用

python 6,576 views
有个人问我gevent怎么实现非堵塞的系统调用,当然threading是可以实现的, 但是大家知道threading是不太可控的。 python实现系统调用的模块还是很多的,比如subprocess,os popen,commands等。  现在高并发的服务基本都是这种协程实现的。 协程是个用户态的东...
阅读全文 0

在python中使用gevent subprocess实现shell调用

05-28 6,576 views

有个人问我gevent怎么实现非堵塞的系统调用,当然threading是可以实现的, 但是大家知道threading是不太可控的。 python实现系统调用的模块还是很多的,比...
阅读全文 0

解决python操作redis cluster集群时遇到的问题

DB,python 8,897 views
今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issue里也看到了别人也同样遇到我这样的问题… …    提示的错误是这样的… ...
阅读全文 1

解决python操作redis cluster集群时遇到的问题

05-17 8,897 views

今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issu...
阅读全文 1