请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

使用python的mysqldb做like模糊查询时遇到的问题

python 8,918 views
恩,mysql的模糊查询是大家常用的,今天在用python做域名统计的时候,遇到了相当的问题。。。。    主要是  fieldname like “%nima%” ,这语句在mysqldb的模块中会导致被转义。 文章的原文,http://xiaorui.cc/?p=1702   下面的用法,我估计是大家都会用的…. 在python中,...
阅读全文 4

使用python的mysqldb做like模糊查询时遇到的问题

6-30 8,918 views

恩,mysql的模糊查询是大家常用的,今天在用python做域名统计的时候,遇到了相当的问题。。。。    主要是  fieldname like “%nima%&...
阅读全文 4

使用gevent wsgi实现长轮询Long Polling和comet

web 8,258 views
就不罗嗦了,对于实时数据的输出也这么几种,客户端自己ajax,Long Polling长轮询,comet,websocket… 当然websocket是我比较常用的,也算擅长的,曾经在实时大屏幕监控中用过websocket的协议….  今天,咱们就先说下Long Polling 首先我们先看轮询(Polling)是什么?  Polling是指不...
阅读全文 0

使用gevent wsgi实现长轮询Long Polling和comet

6-27 8,258 views

就不罗嗦了,对于实时数据的输出也这么几种,客户端自己ajax,Long Polling长轮询,comet,websocket… 当然websocket是我比较常用的,也算擅...
阅读全文 0

对于nginx线程池thread pool提高性能的疑惑

运维 10,620 views
这段时间其实有不少人在关注nginx线程池的功能,我也跟同事聊了下。 英文版 http://nginx.com/blog/thread-pools-boost-performance-9x/ 中文版 http://www.infoq.com/cn/articles/thread-pools-boost-performance-9x 对于nginx在1.7.1版本之后加入线程池的这个future, 看了好几遍infoq的那篇...
阅读全文 9

对于nginx线程池thread pool提高性能的疑惑

6-25 10,620 views

这段时间其实有不少人在关注nginx线程池的功能,我也跟同事聊了下。 英文版 http://nginx.com/blog/thread-pools-boost-performance-9x/ 中文版 ...
阅读全文 9

扯淡nginx的sendfile零拷贝的概念

运维 8,686 views
今天在看nginx thread pool的时候,频繁的看到sendfile,其实以前也经常看到sendfile,只是我平时选择性的忽视而已。。。 先说下sendfile,明天在好好聊下nginx 线程池的一些突发点, 通过伪官方的博客介绍了如何利用nginx 线程池aio,实现9倍的性能…. 个人看了下,他核心的概念就是把你认为堵塞的模块或者说是...
阅读全文 2

扯淡nginx的sendfile零拷贝的概念

6-24 8,686 views

今天在看nginx thread pool的时候,频繁的看到sendfile,其实以前也经常看到sendfile,只是我平时选择性的忽视而已。。。 先说下sendfile,明天在好好聊下n...
阅读全文 2

python实现多进程监听同一个socket的prefork服务端模型

python 8,532 views
这两天迁移数据,没时间写博客了……   正好这两天跟同事聊了下prefork模式,就拿出来聊聊。。。 如果你跟我一样是python程序员,我很建议你用prefork+gevent协程的方式。 python实现socket服务相当的容易,但是默认是单进程状态,是堵塞的….   我想喜欢prefork这个模式的,虽然没有e...
阅读全文 4

python实现多进程监听同一个socket的prefork服务端模型

6-16 8,532 views

这两天迁移数据,没时间写博客了……   正好这两天跟同事聊了下prefork模式,就拿出来聊聊。。。 如果你跟我一样是python程序员,我很建议...
阅读全文 4

使用kafka扩展python logging集中式日志收集

运维 10,643 views
昨天跟你朋友聊了下他们的日志收集及实时的触发报警,当然需要说明的是他们的环境不大,一个小创业公司,开发和运维的环境也相对的简单干练… …  他们没有用到elk这样的日志收集方案,是直接修改了在python logging模块上加了层kafka的输出。   然后他们在消费kafka写到hdfs里面,顺便做了个报警...
阅读全文 1

使用kafka扩展python logging集中式日志收集

6-14 10,643 views

昨天跟你朋友聊了下他们的日志收集及实时的触发报警,当然需要说明的是他们的环境不大,一个小创业公司,开发和运维的环境也相对的简单干练… …...
阅读全文 1

python使用esmre代替ahocorasick实现ac自动机[多模匹配]

python 6,290 views
为什么会用AC自动机? 如果你想知道一篇文章有没有你要过滤的敏感词,怎么办? 不可能用正则一个个的匹配吧?  敏感词超过300个之后,用Trie来构建模式树 (字典树)的速度优势相当的明显… … Hello Boys , 文章的原文转自 http://xiaorui.cc   http://xiaorui.cc/?p=1649 特...
阅读全文 0

python使用esmre代替ahocorasick实现ac自动机[多模匹配]

6-13 6,290 views

为什么会用AC自动机? 如果你想知道一篇文章有没有你要过滤的敏感词,怎么办? 不可能用正则一个个的匹配吧?  敏感词超过300个之后,用Trie来构建模...
阅读全文 0

docker无法用exec进入容器的问题[cannot allocate memory]

docker 8,583 views
今同事小飞飞遇到一个坑爹的问题,可乐死我了….  我发现他们组docker用的量也不少,但是经常出问题….    这次是无法使用docker -it exec 进入容器。奇怪的是docker的提示是 内存无法分配,我们ps aux看了下docker的后端进程,内存已经用到40G了… …     ...
阅读全文 5

docker无法用exec进入容器的问题[cannot allocate memory]

6-11 8,583 views

今同事小飞飞遇到一个坑爹的问题,可乐死我了….  我发现他们组docker用的量也不少,但是经常出问题….    这次是无法使用docker...
阅读全文 5

通过elasticsearch批量创建kibana的visualize图表及dashboard

elasticsearch,运维,运维开发 13,555 views
      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没上线,SO,在这样监控不给力的情况下,就需要产品经理自己去统计下。 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新. http:/...
阅读全文 8

通过elasticsearch批量创建kibana的visualize图表及dashboard

6-09 13,555 views

      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没...
阅读全文 8

如何用python简单的设计开发异步任务调度队列

python 8,703 views
什么是任务调度队列,在python里面有不少这样的好东西,比如celery,RQ,huey    。  这三个我都用过,也都是在线上的环境下应用,分布式的节点也有不少。  他主要是解决任务的异步性,比如你找回密码的时候需要邮件的发送token,这时候不太可能是同步,因为发邮件这种事情,本身就有很多的不确定...
阅读全文 3

如何用python简单的设计开发异步任务调度队列

6-07 8,703 views

什么是任务调度队列,在python里面有不少这样的好东西,比如celery,RQ,huey    。  这三个我都用过,也都是在线上的环境下应用,分布式的...
阅读全文 3

多分支切换下使用git stash暂存not commit的状态

git,python 6,498 views
还是接上次那个茬,这星期出了各种的问题,各种的队列堆积堵塞,各种因为变动引起的bug,导致被打成筛子了。  问题都集中在这两天,针对每个问题的解决都要创建一个分支,修改相对应的功能模块,然后测试成功后打成docker image上线。事情有些紧急,N个任务一块改,N个分支来回的切换。导致分支的混乱。当然造成这...
阅读全文 1

多分支切换下使用git stash暂存not commit的状态

6-05 6,498 views

还是接上次那个茬,这星期出了各种的问题,各种的队列堆积堵塞,各种因为变动引起的bug,导致被打成筛子了。  问题都集中在这两天,针对每个问题的解...
阅读全文 1

如何实现python的mysql连接池并加入缓存过期

python 9,073 views
这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级连接池的实现,所以高级连接池就是一次构建实例的时候,他会一次性创建出指定个数的链接对象,然后会把这些链接对象放到队列里面,然后会开一个线程专门去维护他...
阅读全文 0

如何实现python的mysql连接池并加入缓存过期

6-01 9,073 views

这两天也是瞎折腾,没时间写博客,明天公司马全一回来,给我们讲解docker,以前只是在网上看他的文章,还真没有接触过 。  前段时间在看高级...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

Golang,python 6,463 views
我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在多个节点上,发布了docker化的关键词匹配服务。  关键词匹配服务的服务器数量已经到了10台,里面的代码逻辑已经做到最优,相关的算法也是用的ac自动机(ahoco...
阅读全文 0

使用golang实现ac自动机(ahocorasick)的api接口

5-30 6,463 views

我们针对抓取来的页面进行关键词匹配,但是随着爬虫的量级越来越大,关键词计算有些算不过来….  数据队列已经到了100w左右….  又在...
阅读全文 0

gevent源代码分析之用gevent threadpool实现多进程任务调度

python 9,174 views
这两天出了两个事故,一个是因为正负面的接口被被人疯狂访问而变得堵塞,导致整个动态网页解析解析的崩溃,最后redis挂掉。 还有一个事情是动态ip轮询模块的bug。。。 多事之秋呀。  这几个晚上一直尝试看gevent的源代码,收获特别的大,gevent本身的一些实现就特别的灵巧,背靠这内核的epoll调度,实现一系列的i...
阅读全文 3

gevent源代码分析之用gevent threadpool实现多进程任务调度

5-29 9,174 views

这两天出了两个事故,一个是因为正负面的接口被被人疯狂访问而变得堵塞,导致整个动态网页解析解析的崩溃,最后redis挂掉。 还有一个事情是动态ip轮询模块...
阅读全文 3

在python中使用gevent subprocess实现shell调用

python 8,134 views
有个人问我gevent怎么实现非堵塞的系统调用,当然threading是可以实现的, 但是大家知道threading是不太可控的。 python实现系统调用的模块还是很多的,比如subprocess,os popen,commands等。  现在高并发的服务基本都是这种协程实现的。 协程是个用户态的东西,相比线程的时间片的调度来说,他可以自己控制调度...
阅读全文 0

在python中使用gevent subprocess实现shell调用

5-28 8,134 views

有个人问我gevent怎么实现非堵塞的系统调用,当然threading是可以实现的, 但是大家知道threading是不太可控的。 python实现系统调用的模块还是很多的,比...
阅读全文 0

docker中使用logrotate对logstash日志切分和过期

docker,运维 7,251 views
昨天发现爬虫的日志太大了,居然每个容器里面,日志都大10G了。   这边的环境是docker,日志收集用的是logstash,切分用的是logrotate 。  日志超过1G之后,logstash会占用的cpu 内存会更多,要及时的清理日志,不然光是logstash的那个java进程就要卡死你了。   在此之前docker里面的日志切分,我都是...
阅读全文 0

docker中使用logrotate对logstash日志切分和过期

5-26 7,251 views

昨天发现爬虫的日志太大了,居然每个容器里面,日志都大10G了。   这边的环境是docker,日志收集用的是logstash,切分用的是logrotate 。  日志...
阅读全文 0

实现kibana4中多条数据自定义组合并计算整数平均值

运维,运维开发 13,706 views
这两天有个哥们在问我kibana4的问题,主要是围绕kibana4如何实现像graphite那样metric平均值,也就是聚合实现….    在老版的kibana中,应该是不能做的,没找到相关聚合文档…..    当然Elasticsearch是支持的,只是kibana这个前端组件,在4才实现针对elasticsearch一些复杂的运算操作...
阅读全文 11

实现kibana4中多条数据自定义组合并计算整数平均值

5-26 13,706 views

这两天有个哥们在问我kibana4的问题,主要是围绕kibana4如何实现像graphite那样metric平均值,也就是聚合实现….    在老版的kibana中,应...
阅读全文 11

使用iptables管理docker容器做端口映射网络

docker,运维 9,349 views
昨天写了篇文章是关于docker如何绑定静态的ip,使容器里面的ip是固定的ip地址….  另外关于绑定ip地址,我们也是可以在docker run的时候用 docker run -p ip:port:port的方式….  他其实就是调用的iptables的方法…   原文链接是,http://xiaorui.cc/?p=1502   http:...
阅读全文 1

使用iptables管理docker容器做端口映射网络

5-20 9,349 views

昨天写了篇文章是关于docker如何绑定静态的ip,使容器里面的ip是固定的ip地址….  另外关于绑定ip地址,我们也是可以在docker run的时候用 docke...
阅读全文 1

使用redis-trib fix命令修复redis cluster节点

DB,运维 8,231 views
Blog: http://xiaorui.cc/?p=1497 遇到个问题…. check节点的时候,会遇到下面的问题….. >>> Check for open slots… >>> Check slots coverage… [ERR] Not all 16384 slots are covered by nodes. oot@ubuntu:~# redis-cli -c -p 7000 127.0.0.1:7000> set a a (erro...
阅读全文 1

使用redis-trib fix命令修复redis cluster节点

5-19 8,231 views

Blog: http://xiaorui.cc/?p=1497 遇到个问题…. check节点的时候,会遇到下面的问题….. >>> Check for open slots… ...
阅读全文 1

解决docker不能绑定静态的外网固定ip的问题

docker 10,291 views
很多时候因为各种的原因,我们想让容器像虚拟机那样,被分配到固定的外网ip地址,正好今天晚上寂寞了,顺便把这个实现简单的描述下….. docker绑定外网ip的原文链接是,http://xiaorui.cc     http://xiaorui.cc/?p=1488 前段时间,我一直在研究如何给docker分配静态ip,主要的...
阅读全文 0

解决docker不能绑定静态的外网固定ip的问题

5-19 10,291 views

很多时候因为各种的原因,我们想让容器像虚拟机那样,被分配到固定的外网ip地址,正好今天晚上寂寞了,顺便把这个实现简单的描述下….. docker...
阅读全文 0

使ubuntu centos升级docker1.7最新版

运维 7,165 views
今天在家测试docker的集群网络,纯属瞎折腾…  测了pipework  .   中间遇到docker版本的问题….  这里就简单描述下. 起因是 exec进到容器的时候,发现怎么都进不去….   仔细一看提示,居然提示exec命令找不到…. 这也太蛋疼了..   docker -v一下,果然是1....
阅读全文 0

使ubuntu centos升级docker1.7最新版

5-19 7,165 views

今天在家测试docker的集群网络,纯属瞎折腾…  测了pipework  .   中间遇到docker版本的问题….  这里就简单描述下. ...
阅读全文 0