请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

python下multiprocessing和gevent的组合使用

python 10,210 views
对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协程也是线程的一种,只是io调度上自己说了算而已。  那么如何使用多个cpu核心? 可以利用多进程mutliprocessing来进行多核并行工作,在多进程里面使用geve...
阅读全文

python下multiprocessing和gevent的组合使用

1-17 10,210 views

对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协...
阅读全文

关于tornado ThreadPoolExecutor(threadpool)线程池的实现

python 8,606 views
腾讯的同事问我关于tornado线程池的事,正好趁着这个机会写一篇关于tornado的threadpool线程池异步工作模式实现. 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/14/%E5%85%B3%E4%BA%8Etornado-threadpoolexecutorthreadpool%E7%BA%BF%E7%A8...
阅读全文

关于tornado ThreadPoolExecutor(threadpool)线程池的实现

1-14 8,606 views

腾讯的同事问我关于tornado线程池的事,正好趁着这个机会写一篇关于tornado的threadpool线程池异步工作模式实现. 文章写的不是很严谨,欢迎来...
阅读全文

论mac使用sed修改文件的正确姿势

运维 8,616 views
业务变得复杂了,相关的代码目录也需要修改名字。 以前都是直接在centos开发机进行开发,所以没有遇到sed的问题。 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。http://xiaorui.cc/2016/01/14/%E8%AE%BAmac%E4%BD%BF%E7%94%A8sed%E4%BF%AE%E6%94%B9%E6%96%87%E4%BB%B6%E7%9A%84%E6...
阅读全文

论mac使用sed修改文件的正确姿势

1-14 8,616 views

业务变得复杂了,相关的代码目录也需要修改名字。 以前都是直接在centos开发机进行开发,所以没有遇到sed的问题。 文章写的不是很严谨,欢迎来喷,另外...
阅读全文

由于未加载tokudb引起造成Mysql主从同步失败

DB,运维 7,156 views
聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做主从切换调换我都要欲仙欲死.  原本事不大,但每个库都要几个T大小. 今天原计划打算在程序里面做数据库主从读写分离,但发现他们的数据差异太大。 登上去...
阅读全文

由于未加载tokudb引起造成Mysql主从同步失败

1-13 7,156 views

聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做...
阅读全文

使用vim nerdcommenter插件快速注释代码

运维 8,801 views
     我习惯用VIM来写代码,不怎么喜欢IDE。 不喜欢IDE的原因有很多,我习惯直接连接开发机用vim开发. 我们组10个人,除了同事张磊大哥(newlife)是用emas,剩下人都是用vim…  废话少说,这两天因为要把上海部门的电商分析系统从grovvy重构成python的版本。 中间会大量的copy grovvy,然后...
阅读全文

使用vim nerdcommenter插件快速注释代码

1-12 8,801 views

     我习惯用VIM来写代码,不怎么喜欢IDE。 不喜欢IDE的原因有很多,我习惯直接连接开发机用vim开发. 我们组10个人,除了同事张磊大哥(ne...
阅读全文

分享下日志里的Google镜像站点

运维 6,435 views
这两天本来要统计下博客的refer域名,结果发现有大量的google镜像站点.   主要是通过博客的nginx日志抽取出的google镜像站点.   自己在美国linode节点搭建的ss,最近不太稳定,暂时没有多余的ss服务器.    这些镜像站点还算稳定,速度也不错.   https://g.jikewenku.cn/ http://g...
阅读全文

分享下日志里的Google镜像站点

1-11 6,435 views

这两天本来要统计下博客的refer域名,结果发现有大量的google镜像站点.   主要是通过博客的nginx日志抽取出的google镜像站点.   自己在美国linod...
阅读全文

源码分析python apscheduler的实现

python 7,896 views
今天的话题是,源码分析python apscheduler计划任务的实现.  不知道为什么总是跟计划任务较真,自己一些实现了一个分布式的定时任务系统,也在博客中做过分享,但还是很喜欢看看别人是怎么写的,有什么可以借鉴的。  新版的apscheduler 3.1.x有些太杂乱了,在3.x版本里面加了各种的运行模式,比如gevent,多...
阅读全文

源码分析python apscheduler的实现

1-10 7,896 views

今天的话题是,源码分析python apscheduler计划任务的实现.  不知道为什么总是跟计划任务较真,自己一些实现了一个分布式的定时任务系统,也在博客中做...
阅读全文

从kibana迁移到grafana作为elasticsearch的前端展现

elasticsearch,运维 16,907 views
今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷. 最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志.  后来由于业务方面的原因,现在各个业务的多数模块也选择依赖elasticsea...
阅读全文

从kibana迁移到grafana作为elasticsearch的前端展现

1-07 16,907 views

今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷....
阅读全文

解决python elasticsearch的TransportError异常问题

elasticsearch,python 10,387 views
解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsearch数据延迟的微信报警。 通过看日志得知consumer进程异常了, ps aux f看了下进程状态貌似是正常.  我们可以确定了41577 是主进程,剩下的都是由41577 spaw...
阅读全文

解决python elasticsearch的TransportError异常问题

1-06 10,387 views

解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsea...
阅读全文

docker ulimit引起elasticsearch Too many open files报错

docker,elasticsearch,运维 8,215 views
      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前段时间我们遇到了个问题, 是由于docker容器最大文件打开数配置太小引起的,其实我们在linux本机已经配置了/etc/security/limits.conf .  具体问题及解决方...
阅读全文

docker ulimit引起elasticsearch Too many open files报错

1-05 8,215 views

      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前...
阅读全文

python的enum枚举数据类型的实现

python 7,275 views
    枚举类型最大的优点直观, 省事.  举个常用的例子,你要表示星期1-7,你可以用int1-7,但是当你把它作为参数的时候,有时后你就给考虑传入0,8的情况.而且用数字表示还需要相应的注释和文档. 这个时候你定义个一个枚举CreateDate,名字就叫字面就叫Monday , Tuesday ,….就行,直观,并且值可控. ...
阅读全文

python的enum枚举数据类型的实现

1-05 7,275 views

    枚举类型最大的优点直观, 省事.  举个常用的例子,你要表示星期1-7,你可以用int1-7,但是当你把它作为参数的时候,有时后你就给考虑传入0,...
阅读全文

用python实现数据格式转换模块[json,yaml,csv]

python 8,196 views
    元旦的时候回青岛了,原本是打算去海边散散心,看看那清净的大海陶冶哥的情操. 世事难料,青岛也是重污染,特么的.    这几天没事干,就陪着小孩玩,顺手写了一个小工具,用来转换常见的数据格式的,里面用了python的黑魔法. 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请...
阅读全文

用python实现数据格式转换模块[json,yaml,csv]

1-04 8,196 views

    元旦的时候回青岛了,原本是打算去海边散散心,看看那清净的大海陶冶哥的情操. 世事难料,青岛也是重污染,特么的.    这几天没事...
阅读全文

再次理解tcp关闭连接出现time_wait的情况

运维 7,257 views
作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外我负责的电商数据抓取也会有大量的time_wait的情况.  在我接触的场景下,web服务器和主动发起请求的爬虫服务都会造成大量的time_wait情况. 文章写的...
阅读全文

再次理解tcp关闭连接出现time_wait的情况

12-29 7,257 views

作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外...
阅读全文

阿里云和linode新加坡节点网络速度稳定性测试

运维 9,550 views
    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的.    说正题,我的好朋友以前用过阿里云新加坡节点的,为什么说以前? 后来替换成vultr.   我自己是用过linode新加坡节点的,用了大约有半年的时...
阅读全文

阿里云和linode新加坡节点网络速度稳定性测试

12-28 9,550 views

    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的. &n...
阅读全文

实现简单的python计时统计功能模块

python 6,334 views
文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新.  http://xiaorui.cc/2015/12/26/%E5%AE%9E%E7%8E%B0%E7%AE%80%E5%8D%95%E7%9A%84python%E8%AE%A1%E6%97%B6%E7%BB%9F%E8%AE%A1%E5%8A%9F%E8%83%BD%E6%A8%A1%E5%9D%97/ 正题:      我们经常会有统计pyth...
阅读全文

实现简单的python计时统计功能模块

12-26 6,334 views

文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新.  http://xiaorui.cc/2015/12/26/%E5%AE%9E%E7%8E%B0%E7%AE%80%E5%8...
阅读全文

通过logstash filter过滤屏蔽不需要的日志

运维 12,554 views
今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(包括垃圾日志) .   但为了精简数据需要logstash agent做日志的过滤,也就是说过滤掉不需要的日志.  文章写的不是很严谨,欢迎来喷,另外该文...
阅读全文

通过logstash filter过滤屏蔽不需要的日志

12-24 12,554 views

今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(...
阅读全文

多进程下用requests访问http api时遇到的坑

python 12,690 views
简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以为这些操作基本是网络io的操作,用多线程是没有问题. 但是通过这几天的观察速度还真是有些慢,每小时才50w的数据 (另外产品狗催我..  mysql-es导出服务速度...
阅读全文

多进程下用requests访问http api时遇到的坑

12-22 12,690 views

简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以...
阅读全文

python supervisor管理进程时遇到的问题

python,运维 9,284 views
记得第一次用supervisor的时候,这supervisor还毫无名气….  陆续用了他好几年,后来哥们自己搞了一个简易的supervisor,https://github.com/rfyiamcool/ArbiterHandler 废话不多说. 说说今天这事吧,本来是打算通过supervisord启动程序的时候, 出现 interrupted system call socket 的问题, 具...
阅读全文

python supervisor管理进程时遇到的问题

12-21 9,284 views

记得第一次用supervisor的时候,这supervisor还毫无名气….  陆续用了他好几年,后来哥们自己搞了一个简易的supervisor,https://github.com/rfyia...
阅读全文

我在公司内部关于高可用集群的分享

技术分享,运维 5,806 views
今天在我们组内做了一次分享,是关于高可用集群管理的主题. 期初我是想分享下etcd服务发现的,但发现这东西本来就小而精的东西,没什么讲的. 就打算换个话题分享下. 同事们知道我曾经在几个大厂做过运维,想知道现在各大互联网集群架构是什么样子?于是乎,主题就变成这样了. 当然集群没这么简单,这次就通过运维的视...
阅读全文

我在公司内部关于高可用集群的分享

12-18 5,806 views

今天在我们组内做了一次分享,是关于高可用集群管理的主题. 期初我是想分享下etcd服务发现的,但发现这东西本来就小而精的东西,没什么讲的. 就打算换个话题...
阅读全文

elasticsearch如何修改mapping和template的方法

DB,elasticsearch 10,977 views
题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,就走自定义的mapping. mapping相当于字段描述,比如某个字段是float,某个字段需要分词,某个字段是date类型,是否可以搜索 template,字面意思是模板,他所作的...
阅读全文

elasticsearch如何修改mapping和template的方法

12-17 10,977 views

题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,...
阅读全文