python使用比with更优雅的contextlib实现上下文

python 8,675 views
前几天发现了一个优化with的模块contextlib,其实就是个封装。 那么首先说下,with是什么,玩python有半年经验的应该知道的。  这东西其实也没有什么太大的用处,只是隐藏的含有了一个关闭的逻辑,很像是try…finally… 这里标记下,原文链...
阅读全文 5

python使用比with更优雅的contextlib实现上下文

12-21 8,675 views

前几天发现了一个优化with的模块contextlib,其实就是个封装。 那么首先说下,with是什么,玩python有半年经验的应该知道的。  这东西其实也没有什么...
阅读全文 5

python调用zookeeper管理thrift集群可用性队列

python,运维开发 8,452 views
        我要开始吐槽了,这两天让公司的Hbase搞的高潮四起,有一个namenode的节点,总是出问题,他的一些个问题,引起其他节点的性能的下降,反正很坑。  以前貌似没这个问题,还好我们组有个百度做底层的大拿,兵强。 这段时间估计会调...
阅读全文 1

python调用zookeeper管理thrift集群可用性队列

12-17 8,452 views

        我要开始吐槽了,这两天让公司的Hbase搞的高潮四起,有一个namenode的节点,总是出问题,他的一些个问题,引起其他节点的性能...
阅读全文 1

python使用xlsxwriter打造excel周报日周的统计图表

python 19,037 views
          最近在做关于分布式爬虫和数据抽取计算的两个方面的日志分析,统计的结果也比较简单,把收集到的日志存入到hadoop,然后用python streaming实现mapreduce,把结果存入到mongodb里面。只是python这家伙实在慢的可以,直接改用 p...
阅读全文 5

python使用xlsxwriter打造excel周报日周的统计图表

12-14 19,037 views

          最近在做关于分布式爬虫和数据抽取计算的两个方面的日志分析,统计的结果也比较简单,把收集到的日志存入到hadoop,然...
阅读全文 5

打造metric监控之Influxdb的各种查询及聚合性能的测试

python 10,416 views
前言       这两天看了百度的张俊在研究基于metric的监控系统,很是感兴趣,也打算在爬虫系统里面组织一套。 那么以前metric的收集用过graphite,看到他有推荐Influxdb数据库,不能简单的说它是数据库,他集成了各种的api和web,还有个很强大的w...
阅读全文 3

打造metric监控之Influxdb的各种查询及聚合性能的测试

12-12 10,416 views

前言       这两天看了百度的张俊在研究基于metric的监控系统,很是感兴趣,也打算在爬虫系统里面组织一套。 那么以前metric的收集用过g...
阅读全文 3

时序数据库InfluxDB的sql聚合及搜索语法

python 13,497 views
      那么话说,InfluxDB的查询语法是很给力的,很像SQL语句。下面我会一一介绍下,常用的InfluxDB里面常用的SQL语句。 话说 InfluxDB给与的搜索条件还是很丰富的,有时间分析下  他落地在leveldb的数据结构。  哎,最近爬虫有...
阅读全文 3

时序数据库InfluxDB的sql聚合及搜索语法

12-11 13,497 views

      那么话说,InfluxDB的查询语法是很给力的,很像SQL语句。下面我会一一介绍下,常用的InfluxDB里面常用的SQL语句。 话说 InfluxDB给与...
阅读全文 3

使用grafana influxdb构建metric监控系统

python 13,156 views
InfluxDB 是一个开源,分布式,时间序列,事件,可度量和无外部依赖的数据库。 文章总是被爬虫爬了,这里标记下 原文地址 , xiaorui.cc InfluxDB有三大特性: 1. Time Series (时间序列):你可以使用与时间有关的相关函数(如最大,最小,求和等) 2....
阅读全文 5

使用grafana influxdb构建metric监控系统

13,156 views

InfluxDB 是一个开源,分布式,时间序列,事件,可度量和无外部依赖的数据库。 文章总是被爬虫爬了,这里标记下 原文地址 , xiaorui.cc InfluxD...
阅读全文 5

使用pipe管道使python fork多进程之间通信

python 7,864 views
这两天在研究多进程之间通信的底层的事情,以前可能更多的是用语言本身的特性和封装好的模块。 现在直接用python 本源的os.fork派生进程,用pipe 做简单的数据的交换。如果你要传输对象的话,需要针对对象进行序列化,比如用pickle、msgpack这类的。  不扯了...
阅读全文 0

使用pipe管道使python fork多进程之间通信

12-10 7,864 views

这两天在研究多进程之间通信的底层的事情,以前可能更多的是用语言本身的特性和封装好的模块。 现在直接用python 本源的os.fork派生进程,用pipe 做简单的...
阅读全文 0

使用pig来实现快速的分析爬虫及cdn日志

python 6,533 views
      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是离线分析。  也就是对接工单系统,可以方便的自动分析特定的日志。 以前有个哥们是个geek,分析的程序...
阅读全文 3

使用pig来实现快速的分析爬虫及cdn日志

12-06 6,533 views

      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是...
阅读全文 3

用gunicorn和gevent提高python web框架的性能

python 13,824 views
这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Django、CherryPy 都带着 WSGI server 。当然性能都不好,自带的web server 更多的是测试用途, 线上发布时,...
阅读全文 4

用gunicorn和gevent提高python web框架的性能

11-22 13,824 views

这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Dj...
阅读全文 4

python多线程获取队列引起程序挂起堵塞的情况

python 9,179 views
前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可能,哥们写的代码这么健壮。  Python [ruifengyun@bj-buzz-dev01 ~...
阅读全文 5

python多线程获取队列引起程序挂起堵塞的情况

11-18 9,179 views

前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可...
阅读全文 5

使用rabbitmq工作队列实现任务的负载分发

python 7,730 views
前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们要远程的用ipmitool的接口来抓取信息,要是用在client搞的话,还要给他们密码,这个是很不安全的。 so,要搞...
阅读全文 1

使用rabbitmq工作队列实现任务的负载分发

11-17 7,730 views

前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们...
阅读全文 1

celery rabbitmq实现任务队列的异步执行

python 11,418 views
前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hello ,最近总是被爬虫,标记下博客的原文地址 blog.xiaorui.cc 对于上面的场景,我曾经用t...
阅读全文 0

celery rabbitmq实现任务队列的异步执行

11-16 11,418 views

前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hel...
阅读全文 0

使用python的并发库concurrent.futures实现异步

python 16,310 views
第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异步才可以的。而且如果用futures之后,在一定程度上缓解了这个事情。  concurrent.futures 是python3...
阅读全文 1

使用python的并发库concurrent.futures实现异步

11-15 16,310 views

第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异...
阅读全文 1

使用python PIL库实现复杂的图片验证码及缩略图

python 7,966 views
前言:       记得域用户平台里面集成了一个叫做信使的功能,但是怕别人无脑的乱发,避免别人乱调用接口,加了一个图片验证码的功能~  实现起来比较简单,用python的PIL库就可以实现了,用pil还可以制作复杂的图片。 Hi,更多的pyth...
阅读全文 1

使用python PIL库实现复杂的图片验证码及缩略图

11-14 7,966 views

前言:       记得域用户平台里面集成了一个叫做信使的功能,但是怕别人无脑的乱发,避免别人乱调用接口,加了一个图片验证码的功能~ &n...
阅读全文 1

socket服务端开发之测试使用threading和gevent框架

python 8,509 views
这篇文章是去年写的,今个拿出来分享下。 话题是测试下多线程和gevent在socket服务端的小包表现能力,测试的方法不太严谨,也没有用event loop + pool池的概念。不管是gevent和threading有pool的情况下,确实很省资源,但是固定的pool线程池容易在突发事件中被...
阅读全文 0

socket服务端开发之测试使用threading和gevent框架

8,509 views

这篇文章是去年写的,今个拿出来分享下。 话题是测试下多线程和gevent在socket服务端的小包表现能力,测试的方法不太严谨,也没有用event loop + pool池...
阅读全文 0

pypy提升pyhton脚本的执行速度及性能

python 6,146 views
啥是pypy 简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 PHP 代码转成 C++ 代码. 为什么要将一种语言转成另一种语言? 首先是目标语言可能在性能(如C语言)和/或跨...
阅读全文 0

pypy提升pyhton脚本的执行速度及性能

6,146 views

啥是pypy 简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 P...
阅读全文 0

python使用mrjob实现hadoop上的mapreduce

python 8,306 views
前言:      这两天忙着把51cto里面的博客,转回我的独立博客,以前只是顾着在51写了,才发现原来我写了那么多东西。      正题,咱们一般写mapreduce是通过java的mapreduce api或者是python调用streaming来写的。然而身为pyth...
阅读全文 0

python使用mrjob实现hadoop上的mapreduce

8,306 views

前言:      这两天忙着把51cto里面的博客,转回我的独立博客,以前只是顾着在51写了,才发现原来我写了那么多东西。    &n...
阅读全文 0

python下简单实现select和epoll的socket网络编程

python 10,190 views
Na今天就简单说说关于python下的socket的select和eopll的接口开发 ~ select模型目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实 上从现在看来,这也是它所剩不多的优点之一,现在其实更多的人用epoll,在 python下epoll文档有...
阅读全文 0

python下简单实现select和epoll的socket网络编程

11-13 10,190 views

Na今天就简单说说关于python下的socket的select和eopll的接口开发 ~ select模型目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,...
阅读全文 0

Restful风格的HTTP Basic Athorization基本认证API接口

python,web 11,779 views
前言:      话说什么是基本认证?   在HTTP协议进行通信的过程中,HTTP协议定义了基本认证过程以允许HTTP服务器对WEB浏览器进行用户身份证的方法,当一个客户端向HTTP服务 器进行数据请求时,如果客户端未被认证,则HTTP服务器将...
阅读全文 10

Restful风格的HTTP Basic Athorization基本认证API接口

11-12 11,779 views

前言:      话说什么是基本认证?   在HTTP协议进行通信的过程中,HTTP协议定义了基本认证过程以允许HTTP服务器对WEB浏览...
阅读全文 10

调用sendcloud接口实现邮件推送收取[python]

python 6,849 views
前言: 今天和朋友聊起了邮件的发送,他那边有个业务是定期给大量的用户发新事物邮件,经常会有被拒的情况,还有就是他们的报警有点多,搞得exchange时常有压力,现在这哥们正琢磨着要搞邮件集群,我觉得没必要这么纠结,咱们可以利用第三方的邮件api。 ...
阅读全文 4

调用sendcloud接口实现邮件推送收取[python]

6,849 views

前言: 今天和朋友聊起了邮件的发送,他那边有个业务是定期给大量的用户发新事物邮件,经常会有被拒的情况,还有就是他们的报警有点多,搞得exchange时...
阅读全文 4

图片站方案之redis扩展记录fastdfs数据方案

python,运维 7,186 views
v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他说最近打算实现一个文件分享的网站,一个是图片,一个是特定的文件,比如压缩包、pdf这类的。 他个人是做idc...
阅读全文 0

图片站方案之redis扩展记录fastdfs数据方案

7,186 views

v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他...
阅读全文 0