请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

使用vim做python ide时中文乱码的问题

运维 6,348 views
碰到一个奇怪的问题,在mac下写了两个py文件,一个乱码,一个不乱码  搞得我七上八下的…   这个问题的缘由,今天开始写数据回溯的转移,从hbase到elasticsearch ,但是总是提示编码问题,我以为是elasticsearch python模块中文解码的问题,狂搜文档,结果尼玛是vim和输入法、粘贴文本造成的编...
阅读全文 1

使用vim做python ide时中文乱码的问题

2-26 6,348 views

碰到一个奇怪的问题,在mac下写了两个py文件,一个乱码,一个不乱码  搞得我七上八下的…   这个问题的缘由,今天开始写数据回溯的...
阅读全文 1

python使用flask实现leveldb的rest api

python 8,410 views
     马上就要放假了,因为临过年了,也没啥事干… …   公司有个数据抽取的模块,是需要一个临时的又高性能的本地KV数据库, leveldb算是个好选择。 以前在人人的时候,我的好多项目都用了leveldb,只是后期改用ssdb的多点。 leveldb在百万数据后,速度明显不行… …  ...
阅读全文 2

python使用flask实现leveldb的rest api

2-15 8,410 views

     马上就要放假了,因为临过年了,也没啥事干… …   公司有个数据抽取的模块,是需要一个临时的又高性能的本地KV数据库...
阅读全文 2

在kibana里使用lucene语法进行搜索query搜索

DB,运维开发 20,383 views
昨天也终于把另一个模块的日志也迁入了logstash里了。  现在日志都导入到Elasticsearch了,当然肯定也会用到kibana的,用来专门给产品经理定制了专业的buzz爬虫面板,可以看到各个模块的运行情况和数据统计。 关于kibana搜索语法的原文链接是,http://xiaorui.cc/?p=1099 在kibana搜索的时候,可...
阅读全文 4

在kibana里使用lucene语法进行搜索query搜索

2-13 20,383 views

昨天也终于把另一个模块的日志也迁入了logstash里了。  现在日志都导入到Elasticsearch了,当然肯定也会用到kibana的,用来专门给产品经理定制了专业...
阅读全文 4

使用phantomjs抓取动态页面遇到的timeout超时问题

python 8,610 views
原文地址是,http://xiaorui.cc phantomjs无意是强大的无界面的webkit浏览器工具,但是对于有些网站来说,他的返回过慢了点。  我这边是在服务端控制超时的时间,gevent subprocess的组合,但是因为subprocess和我的另一组逻辑有些冲突,所以把超时的逻辑改到了 js 文件里面。  ...
阅读全文 0

使用phantomjs抓取动态页面遇到的timeout超时问题

2-03 8,610 views

原文地址是,http://xiaorui.cc phantomjs无意是强大的无界面的webkit浏览器工具,但是对于有些网站来说,他的返回过慢了点。  我这边是在服...
阅读全文 0

python logging定制logstash的json日志格式

python 10,542 views
最近一直在折腾日志的收集,现在算是收尾了。  写一篇算python优化logstash的方案。  其实大家都知道logstash调用grok来解析日志的话,是要消耗cpu的成本的,毕竟是需要正则的匹配的。  根据logstash调优的方案,咱们可以预先生成json的格式。 我这边基本是python的程序,怎么搞尼 ?  ...
阅读全文 1

python logging定制logstash的json日志格式

1-30 10,542 views

最近一直在折腾日志的收集,现在算是收尾了。  写一篇算python优化logstash的方案。  其实大家都知道logstash调用grok来解析日志的话,...
阅读全文 1

使用Nginx Lua实现redis高性能http接口

运维 10,883 views
某些时候用python实现的接口性能不够强劲,需要换种方法来提高性能,这不就用lua试试。  常见的redis lua的组合功能 有接口防止过度访问,动态的数据加载,接口的数据缓存 redis没有直接提供一个http的接口,性能的比较的话,lua的能力要比php、python要强的不少。。。 网上有很多的性能的比较,...
阅读全文 1

使用Nginx Lua实现redis高性能http接口

1-27 10,883 views

某些时候用python实现的接口性能不够强劲,需要换种方法来提高性能,这不就用lua试试。  常见的redis lua的组合功能 有接口防止过度访问,动...
阅读全文 1

logstash使用grok正则解析日志和kibana遇到的问题

运维 17,709 views
妈蛋呀,改用logstash的原因是因为,scribe 真心搞不定,其次就是产品经理需要我开发一个可自定义的panel图表系统。 因为长时间没搞elk方案, 都忘了logstash的语法了,因为爬虫的都是我们自己定义的,这个时候需要自己手写正则了。  logstash 本身就内置了很多程序的变量正则, 比如nginx  ...
阅读全文 9

logstash使用grok正则解析日志和kibana遇到的问题

1-27 17,709 views

妈蛋呀,改用logstash的原因是因为,scribe 真心搞不定,其次就是产品经理需要我开发一个可自定义的panel图表系统。 因为长时间没搞elk方案, 都...
阅读全文 9

confd和etcd实现配置管理及模板使用

DB,运维开发 17,470 views
关于confd是什么?      他是一个可以在etcd和consul的基础上实现配置管理的工具。 etcd和consul在功能上是有些重叠的,所以咱们就拿etcd来测试吧。 再简单来描述下conf,他是可以从etcd里面获取kv数据,然后通过咱们提前定制的模板,渲染配置文件。。。。  然后可以check_md 和 reload...
阅读全文 8

confd和etcd实现配置管理及模板使用

1-25 17,470 views

关于confd是什么?      他是一个可以在etcd和consul的基础上实现配置管理的工具。 etcd和consul在功能上是有些重叠的,所以咱们就拿etc...
阅读全文 8

python使用etcd来实现配置共享及集群服务发现 【上】

docker,python 10,402 views
这两天抽了点时间研究了下现在比较火辣的etcd,网上很多的文章都是写etcd和docker的结合使用。  不说docker,咱们单独就etcd这个高可用键值来聊聊吧。  etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的,灵感来自于 ZooKeeper 和 Doozer,它使用Go语言编...
阅读全文 1

python使用etcd来实现配置共享及集群服务发现 【上】

1-23 10,402 views

这两天抽了点时间研究了下现在比较火辣的etcd,网上很多的文章都是写etcd和docker的结合使用。  不说docker,咱们单独就etcd这个高可用键值来聊聊吧。...
阅读全文 1

Flask使用token来防御csrf跨站攻击

python 7,326 views
做pytoner工程师很多时候也是需要写web的。 那么你已经会碰到被攻击的危险。比如Csrf攻击,那么csrf是什么我这里就不再详细的描述,我想大家也应该知道。 Flask本身提供了插件,一些社区也在简单的token之上又做了一些关于csrf的防御。 图中Browse是浏览器,WebServerA是受信任网站/被攻击网站A,WebServ...
阅读全文 2

Flask使用token来防御csrf跨站攻击

1-19 7,326 views

做pytoner工程师很多时候也是需要写web的。 那么你已经会碰到被攻击的危险。比如Csrf攻击,那么csrf是什么我这里就不再详细的描述,我想大家也应该知道。 F...
阅读全文 2

python调用twilio api实现zabbix语音电话报警

zabbix 8,823 views
以前写了篇关于zabbix nagios的语音电话报警方案,这里用的是pageduty 和nexmo api进行语言和短信报警…. ….   这次是借用twilio实现,现在国外用twilio做运维语言方案的不少.  http://xiaorui.cc/2014/09/18/%E7%9B%91%E6%8E%A7%E6%8A%A5%E8%AD%A6%E5%BC%80%E5%8F%91%E4%B9%8Bzabbix%E8%AF%A...
阅读全文 2

python调用twilio api实现zabbix语音电话报警

1-15 8,823 views

以前写了篇关于zabbix nagios的语音电话报警方案,这里用的是pageduty 和nexmo api进行语言和短信报警…. ….   这次是借用twilio实现,现在...
阅读全文 2

关于使用动态轮训切换ip防止爬虫被封杀

python 14,378 views
上次有说过,我在新公司有部分工作是负责爬虫业务的,爬虫机器有上百台,节点也要计划迁入了Docker平台上。  这两天遇到一个棘手的问题,就是因为我们为了追求数据量,在某些机房,用docker启动了不少爬虫节点,导致一些傻逼网站,开始封禁我们…. …   (干死他们,哥们要是有资源,必须干掉ddos...
阅读全文 7

关于使用动态轮训切换ip防止爬虫被封杀

1-12 14,378 views

上次有说过,我在新公司有部分工作是负责爬虫业务的,爬虫机器有上百台,节点也要计划迁入了Docker平台上。  这两天遇到一个棘手的问题,就是因为我们...
阅读全文 7

使用python构建基于opentsdb的metric监控客户端 [上篇]

运维开发 10,224 views
最近在折腾metric监控的东西,再加上到这里后逼格提升了不少,所以想写点关于构建metric系统的文章,用来装逼,找喷… … 能不能别把文章转走,标记下原文地址    xiaorui.cc       我自己是个臭屁的人,尝尝装逼为乐!正题开始, 我工位左面的那个同事以前是在阿里和...
阅读全文 3

使用python构建基于opentsdb的metric监控客户端 [上篇]

1-10 10,224 views

最近在折腾metric监控的东西,再加上到这里后逼格提升了不少,所以想写点关于构建metric系统的文章,用来装逼,找喷… … 能不能别把文章转走...
阅读全文 3

吐槽之关于influxdb聚合计算sum的问题

python 7,707 views
和朋友讨论了下关于influxdb在多个字段下的汇聚聚合计算,看官网的介绍貌似比较的简单,sum(a,b,c)就可以了 。  麻痹,就是不行….  …. 麻痹,爬虫真你妈霸道,原文地址是, xiaorui.cc Python Sum SUM() requires exactly one argument, whi...
阅读全文 2

吐槽之关于influxdb聚合计算sum的问题

1-10 7,707 views

和朋友讨论了下关于influxdb在多个字段下的汇聚聚合计算,看官网的介绍貌似比较的简单,sum(a,b,c)就可以了 。  麻痹,就是不行….  …...
阅读全文 2

通过信号解决docker启动容器后Exited退出的问题

docker 14,781 views
前言:       嗯哼,前段时间公司搞Docker的那位架构师走了,我们公司用40台实体服务器做了Docker的服务组,量级不是太大,上面的容器在600个左右。 现在被遗弃的Elasticsearch和docker是兵强接手,这大神以前是百度做底层开发的,水平很nb。。。   嗯,最近总是有网站爬取我的文章,标...
阅读全文 14

通过信号解决docker启动容器后Exited退出的问题

1-09 14,781 views

前言:       嗯哼,前段时间公司搞Docker的那位架构师走了,我们公司用40台实体服务器做了Docker的服务组,量级不是太大,上面的容器在6...
阅读全文 14

聚会_庆祝 钱威(字母哥)生日快乐

文艺,未分类 6,491 views
原有,字母歌今天生日,然后又换工作了 从小米碰到geek的美团 … …   这次去的人有:       芮峰云  沈灿   张向军  钱威  李京奥  张斌  左左  丹尼 ? … …  (只限于本群,想参加在下面报名。 如果有事情不...
阅读全文 18

聚会_庆祝 钱威(字母哥)生日快乐

1-06 6,491 views

原有,字母歌今天生日,然后又换工作了 从小米碰到geek的美团 … …   这次去的人有:       芮峰云  ...
阅读全文 18

关于python使用AsyncInflux异步操作influxdb的方案

python 7,485 views
虽然Influxdb写入速度还是很给力,但是谁不想更给力呀.   在github看到了一个利用codap和gevent实现的针对influxdb异步的模块,测试了下,挺不错。  博客的原文地址是  ,   http://xiaorui.cc 最主要就是调用codap这个东西。 codap是一个数据结构+callback回调+gevent的模块...
阅读全文 0

关于python使用AsyncInflux异步操作influxdb的方案

1-06 7,485 views

虽然Influxdb写入速度还是很给力,但是谁不想更给力呀.   在github看到了一个利用codap和gevent实现的针对influxdb异步的模块,测试了下,挺不错...
阅读全文 0

大并发下socket通信连接时会导致TCP自连接

python 6,656 views
    今天是2015的第二天了, 心情有些不佳,遇到的狗屎问题更是心情不爽 !还好妈蛋的给解决了 !     问题提示说大不大,说小不小的 ~    TCP的自连接就是client和server bind的端口碰上了 !导致出现连接的异常。 用python来模拟TCP自连接的现象。  ...
阅读全文 1

大并发下socket通信连接时会导致TCP自连接

1-02 6,656 views

    今天是2015的第二天了, 心情有些不佳,遇到的狗屎问题更是心情不爽 !还好妈蛋的给解决了 !     问题提示说大不大,说小不小...
阅读全文 1

关于ansible tower的一些介绍及api

ansible 12,387 views
都知道ansible是个好东西,现在也有不少公司在基于ansible做运维平台的开发,然而ansible的官方在推一个Tower的东西,看来和saltstack一样,程序是开源了,但是平台是收费的。Tower是个ansible收费的企业运维平台,也是有Free供你测试使用的,虽然不会考虑用这个东西,但是还是大体看了下tower的相关的介绍,关于tower...
阅读全文 4

关于ansible tower的一些介绍及api

12-30 12,387 views

都知道ansible是个好东西,现在也有不少公司在基于ansible做运维平台的开发,然而ansible的官方在推一个Tower的东西,看来和saltstack一样,程序是开源了,...
阅读全文 4

为12306提交了一个行程泄露的漏洞

运维开发 4,566 views
嗯哼,前两天看到一个新闻说是,12306加入了补天漏洞平台,貌似给钱,钱还不少,居然尼玛有2000元。  正好这两天为了 爱情,找到一个信息泄露的漏洞,可以轻易的查询到对方的未来的行程,就在补天提交了 !  我现在很想知道,12306打算给我多少钱?   100元都不给?  还是能给个5...
阅读全文 0

为12306提交了一个行程泄露的漏洞

12-30 4,566 views

嗯哼,前两天看到一个新闻说是,12306加入了补天漏洞平台,貌似给钱,钱还不少,居然尼玛有2000元。  正好这两天为了 爱情,找到一个...
阅读全文 0

python multiprocessing之间的通信性能测试 Pipe vs Queue

python 8,262 views
今天12306的数据库爆出来了,午饭过后,自己搞了个针对12306密码查询的小api,结果影响有些大,VPS都挂了好几次 !  搞得哥们很是销魂呀 !  后来又听说,搞不好进去,尼玛    吓尿了 !  老规矩,标记下这篇文章的原文地址, http://xiaorui.cc 正题,下午看了国外的帖子,关于...
阅读全文 2

python multiprocessing之间的通信性能测试 Pipe vs Queue

12-26 8,262 views

今天12306的数据库爆出来了,午饭过后,自己搞了个针对12306密码查询的小api,结果影响有些大,VPS都挂了好几次 !  搞得哥们很是销魂呀 !  后来...
阅读全文 2