请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

在线查询12306泄露的用户密码、手机及身份证信息

运维开发 11,943 views
   中新网12月25日电 据12306官方网站消息,针对互联网上出现“12306网站用户信息在互联网上疯传”的报道,经12306官方网站认真核查,此泄露信息全部含有用户的明文密码。12306官方网站数据库所有用户密码均为多次加密的非明文转换码,网上泄露的用户信息系经其他网站或渠道流出。目前,公安机关...
阅读全文 22

在线查询12306泄露的用户密码、手机及身份证信息

12-25 11,943 views

   中新网12月25日电 据12306官方网站消息,针对互联网上出现“12306网站用户信息在互联网上疯传”的报道,经12306官方网站认真核查,...
阅读全文 22

python使用gipc实现gevent的多进程及ipc通信

python 8,639 views
今天在和FK聊天的时候,聊到了利用gevent的多进程模式,我和他交流了下,我的用法,其实模仿了php-fpm的进程模式,就是fork进程,然后开辟一个队列,这个队列是放链接的对象,然后每个进程里面也有一个gevent pool池另外还附带一个队列 。   main Thred的队列是用来存放用户请求的链接对象,子进程的队列是根据ge...
阅读全文 1

python使用gipc实现gevent的多进程及ipc通信

12-22 8,639 views

今天在和FK聊天的时候,聊到了利用gevent的多进程模式,我和他交流了下,我的用法,其实模仿了php-fpm的进程模式,就是fork进程,然后开辟一个队列,这个队...
阅读全文 1

python使用比with更优雅的contextlib实现上下文

python 8,283 views
前几天发现了一个优化with的模块contextlib,其实就是个封装。 那么首先说下,with是什么,玩python有半年经验的应该知道的。  这东西其实也没有什么太大的用处,只是隐藏的含有了一个关闭的逻辑,很像是try…finally… 这里标记下,原文链接是  xiaorui.cc 咱们用的os模块,读取...
阅读全文 5

python使用比with更优雅的contextlib实现上下文

12-21 8,283 views

前几天发现了一个优化with的模块contextlib,其实就是个封装。 那么首先说下,with是什么,玩python有半年经验的应该知道的。  这东西其实也没有什么...
阅读全文 5

python使用redis实现协同控制的分布式锁

运维开发 10,387 views
这两天心情不好,因为感情问题,在这里给朋友们都提个醒! 不要天天code,珍惜身边的人,别你妈天天宅家里,不是代码,就是撸管的。  上午的时候,有个腾讯的朋友问我,关于用zookeeper分布式锁的设计,他的需求其实很简单,就是节点之间的协同合作。 我以前用redis写过一个网络锁,趁着这个机会就分享...
阅读全文 10

python使用redis实现协同控制的分布式锁

12-19 10,387 views

这两天心情不好,因为感情问题,在这里给朋友们都提个醒! 不要天天code,珍惜身边的人,别你妈天天宅家里,不是代码,就是撸管的。  上午的...
阅读全文 10

python调用zookeeper管理thrift集群可用性队列

python,运维开发 8,244 views
        我要开始吐槽了,这两天让公司的Hbase搞的高潮四起,有一个namenode的节点,总是出问题,他的一些个问题,引起其他节点的性能的下降,反正很坑。  以前貌似没这个问题,还好我们组有个百度做底层的大拿,兵强。 这段时间估计会调整架构,调优啥的。 需要说明的是,爬虫太可...
阅读全文 1

python调用zookeeper管理thrift集群可用性队列

12-17 8,244 views

        我要开始吐槽了,这两天让公司的Hbase搞的高潮四起,有一个namenode的节点,总是出问题,他的一些个问题,引起其他节点的性能...
阅读全文 1

一个可以根据crontab执行状态进行统计报警系统

运维 5,867 views
一个有意思的应用,可以识别你的crontab有没有执行成功,大家可以去试试。 原理很简单,就是在crontab里面curl一个接口,这个接口含有时间戳和动作。 服务端会根据你预先配置的间隔时间的判断是否ok,比如crontab里面你配置的是5分钟一次,那server端也是5分钟一次。 如果5分钟后,那么进行报警。  ...
阅读全文 0

一个可以根据crontab执行状态进行统计报警系统

12-16 5,867 views

一个有意思的应用,可以识别你的crontab有没有执行成功,大家可以去试试。 原理很简单,就是在crontab里面curl一个接口,这个接口含有时间戳和动作。&n...
阅读全文 0

关于监控数据库influxdb的配置调整及性能优化

运维开发 17,959 views
     这两天针对Influxdb有些不爽,主要还是体现在的他性能方面。下面的内容是我这两天总结,应该对大家有些帮助,那么需要说明的是,我用influxdb做时序数据库的应用场景很小,也就是一百多个爬虫节点和数据抽取平台的,加起来不到150个节点的。 当然还没有在线上跑,这段时间一直在做关于metric方面...
阅读全文 13

关于监控数据库influxdb的配置调整及性能优化

12-15 17,959 views

     这两天针对Influxdb有些不爽,主要还是体现在的他性能方面。下面的内容是我这两天总结,应该对大家有些帮助,那么需要说明的是,我用i...
阅读全文 13

python使用xlsxwriter打造excel周报日周的统计图表

python 18,310 views
          最近在做关于分布式爬虫和数据抽取计算的两个方面的日志分析,统计的结果也比较简单,把收集到的日志存入到hadoop,然后用python streaming实现mapreduce,把结果存入到mongodb里面。只是python这家伙实在慢的可以,直接改用 pig 来实现日志的解析,速度明显要好点。  说正题...
阅读全文 5

python使用xlsxwriter打造excel周报日周的统计图表

12-14 18,310 views

          最近在做关于分布式爬虫和数据抽取计算的两个方面的日志分析,统计的结果也比较简单,把收集到的日志存入到hadoop,然...
阅读全文 5

打造metric监控之Influxdb的各种查询及聚合性能的测试

python 9,921 views
前言       这两天看了百度的张俊在研究基于metric的监控系统,很是感兴趣,也打算在爬虫系统里面组织一套。 那么以前metric的收集用过graphite,看到他有推荐Influxdb数据库,不能简单的说它是数据库,他集成了各种的api和web,还有个很强大的web展现 grafana平台。        ...
阅读全文 3

打造metric监控之Influxdb的各种查询及聚合性能的测试

12-12 9,921 views

前言       这两天看了百度的张俊在研究基于metric的监控系统,很是感兴趣,也打算在爬虫系统里面组织一套。 那么以前metric的收集用过g...
阅读全文 3

时序数据库InfluxDB的sql聚合及搜索语法

python 12,646 views
      那么话说,InfluxDB的查询语法是很给力的,很像SQL语句。下面我会一一介绍下,常用的InfluxDB里面常用的SQL语句。 话说 InfluxDB给与的搜索条件还是很丰富的,有时间分析下  他落地在leveldb的数据结构。  哎,最近爬虫有些猛,标记下原文地址   xiaorui.cc ...
阅读全文 3

时序数据库InfluxDB的sql聚合及搜索语法

12-11 12,646 views

      那么话说,InfluxDB的查询语法是很给力的,很像SQL语句。下面我会一一介绍下,常用的InfluxDB里面常用的SQL语句。 话说 InfluxDB给与...
阅读全文 3

使用grafana influxdb构建metric监控系统

python 12,736 views
InfluxDB 是一个开源,分布式,时间序列,事件,可度量和无外部依赖的数据库。 文章总是被爬虫爬了,这里标记下 原文地址 , xiaorui.cc InfluxDB有三大特性: 1. Time Series (时间序列):你可以使用与时间有关的相关函数(如最大,最小,求和等) 2. Metrics(度量):你可以实时对大量数据进行计算 3. ...
阅读全文 5

使用grafana influxdb构建metric监控系统

12-11 12,736 views

InfluxDB 是一个开源,分布式,时间序列,事件,可度量和无外部依赖的数据库。 文章总是被爬虫爬了,这里标记下 原文地址 , xiaorui.cc InfluxD...
阅读全文 5

使用pipe管道使python fork多进程之间通信

python 7,610 views
这两天在研究多进程之间通信的底层的事情,以前可能更多的是用语言本身的特性和封装好的模块。 现在直接用python 本源的os.fork派生进程,用pipe 做简单的数据的交换。如果你要传输对象的话,需要针对对象进行序列化,比如用pickle、msgpack这类的。  不扯了,正题开始… … 原文地址是 , xiaoru...
阅读全文 0

使用pipe管道使python fork多进程之间通信

12-10 7,610 views

这两天在研究多进程之间通信的底层的事情,以前可能更多的是用语言本身的特性和封装好的模块。 现在直接用python 本源的os.fork派生进程,用pipe 做简单的...
阅读全文 0

使用pig来实现快速的分析爬虫及cdn日志

python 6,367 views
      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是离线分析。  也就是对接工单系统,可以方便的自动分析特定的日志。 以前有个哥们是个geek,分析的程序是groovy写的,虽然他已经在很大程度让我爽了很多,但...
阅读全文 3

使用pig来实现快速的分析爬虫及cdn日志

12-06 6,367 views

      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是...
阅读全文 3

对于saltstack更换zeromq用raet做通信方式的闲聊

saltstack,运维开发 10,492 views
      经常用saltstack的人会发现,zeromq貌似不是那么靠谱,其实不能说0mq不靠谱,应该说salt的这样的集群的环境,导致zeromq 不能更好的融合于0mq的体系里面。        那么其实我个人,觉得zeromq确保可靠性质的方案,还是有的,但是需要我们自己做事件的监听和锁的使用...
阅读全文 1

对于saltstack更换zeromq用raet做通信方式的闲聊

11-28 10,492 views

      经常用saltstack的人会发现,zeromq貌似不是那么靠谱,其实不能说0mq不靠谱,应该说salt的这样的集群的环境,导致zeromq 不能更好的...
阅读全文 1

运维平台化ipmi和Cobbler构建自动化装机平台

运维开发 7,335 views
这里面的数据做过串改,不是真实线上数据,勿当真. 更多关于运维自动化的文章,请到 xiaorui.cc 文章是以前在51cto写的,这次在我的博客中再修改分享下:      那段时间,去感受下公司的pxe装机平台。 这边的装机的流程本身就高度的自动化,还额外加了很多的自定义的...
阅读全文 4

运维平台化ipmi和Cobbler构建自动化装机平台

11-26 7,335 views

这里面的数据做过串改,不是真实线上数据,勿当真. 更多关于运维自动化的文章,请到 xiaorui.cc 文章是以前在51cto写的,这...
阅读全文 4

tornado调用ioloop TracebackFuture实现非堵塞的模块

tornado,web 8,409 views
在国外论坛看到一个老外关于 tornado的一些非堵塞模块原理性的讲述,一刹那间明了了很多。 so 通过自己的理解,简单实现了下一个简单的非堵塞模块。   嗯哼,原文地址是,blog.xiaorui.cc 当然实现的方法,还是存在点问题的, 但是最少流程是跑通了。 我在用ab做测试的时候,会发现数据已经进入到ioloop...
阅读全文 5

tornado调用ioloop TracebackFuture实现非堵塞的模块

11-26 8,409 views

在国外论坛看到一个老外关于 tornado的一些非堵塞模块原理性的讲述,一刹那间明了了很多。 so 通过自己的理解,简单实现了下一个简单的非堵塞模块。 &n...
阅读全文 5

用gunicorn和gevent提高python web框架的性能

python 13,000 views
这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Django、CherryPy 都带着 WSGI server 。当然性能都不好,自带的web server 更多的是测试用途, 线上发布时,则使用高性能的 wsgi server或者是联合nginx做uwsgi 。...
阅读全文 4

用gunicorn和gevent提高python web框架的性能

11-22 13,000 views

这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Dj...
阅读全文 4

saltstack event和websocket实时监控触发事件

saltstack 6,295 views
前沿:         那么以前都是调取一个url的接口,把结果post过去,web服务器接收到请求,会给所有链接到websocket server的客户端send数据。那么问题来了,这总是频繁的调用url,然后再send,觉得有些多此一举,还不如用python websocket client直接链接到websocket server上来,那么既然都连...
阅读全文 7

saltstack event和websocket实时监控触发事件

11-18 6,295 views

前沿:         那么以前都是调取一个url的接口,把结果post过去,web服务器接收到请求,会给所有链接到websocket server的客户端s...
阅读全文 7

用Saltstack的returners实现监控及执行结果回调

saltstack 8,548 views
这是以前在51cto写的文章,因为有了独立的博客,so 转了过来。没有saltstack基础的朋友,看下我以前的教程 saltstack 入门教程。。。。 那么大家在很多时候都用cmd.run跑命令,查看结果,然后根据返回的结果,做点你需要做的事情,比如把结果插入数据库,我们可以在页面中,看到他的执行的结果,状态,jobid等...
阅读全文 0

用Saltstack的returners实现监控及执行结果回调

11-18 8,548 views

这是以前在51cto写的文章,因为有了独立的博客,so 转了过来。没有saltstack基础的朋友,看下我以前的教程 saltstack 入门教程。。。。 那么大家在...
阅读全文 0

python多线程获取队列引起程序挂起堵塞的情况

python 8,856 views
前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可能,哥们写的代码这么健壮。  Python [ruifengyun@bj-buzz-dev01 ~]$ sudo strace -p 2583 Process 2583 attached - in...
阅读全文 5

python多线程获取队列引起程序挂起堵塞的情况

11-18 8,856 views

前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可...
阅读全文 5

使用rabbitmq工作队列实现任务的负载分发

python 7,401 views
前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们要远程的用ipmitool的接口来抓取信息,要是用在client搞的话,还要给他们密码,这个是很不安全的。 so,要搞一套基于自己的一套密码认证及数据抓取的平台。 ...
阅读全文 1

使用rabbitmq工作队列实现任务的负载分发

11-17 7,401 views

前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们...
阅读全文 1