python使用xlsxwriter打造excel周报日周的统计图表

python 17,083 views
          最近在做关于分布式爬虫和数据抽取计算的两个方面的日志分析,统计的结果也比较简单,把收集到的日志存入到hadoop,然后用python streaming实现mapreduce,把结果存入到mongodb里面。只是python这家伙实在慢的可以,直接改用 p...
阅读全文 5

python使用xlsxwriter打造excel周报日周的统计图表

12-14 17,083 views

          最近在做关于分布式爬虫和数据抽取计算的两个方面的日志分析,统计的结果也比较简单,把收集到的日志存入到hadoop,然...
阅读全文 5

打造metric监控之Influxdb的各种查询及聚合性能的测试

python 9,075 views
前言       这两天看了百度的张俊在研究基于metric的监控系统,很是感兴趣,也打算在爬虫系统里面组织一套。 那么以前metric的收集用过graphite,看到他有推荐Influxdb数据库,不能简单的说它是数据库,他集成了各种的api和web,还有个很强大的w...
阅读全文 3

打造metric监控之Influxdb的各种查询及聚合性能的测试

12-12 9,075 views

前言       这两天看了百度的张俊在研究基于metric的监控系统,很是感兴趣,也打算在爬虫系统里面组织一套。 那么以前metric的收集用过g...
阅读全文 3

时序数据库InfluxDB的sql聚合及搜索语法

python 11,035 views
      那么话说,InfluxDB的查询语法是很给力的,很像SQL语句。下面我会一一介绍下,常用的InfluxDB里面常用的SQL语句。 话说 InfluxDB给与的搜索条件还是很丰富的,有时间分析下  他落地在leveldb的数据结构。  哎,最近爬虫有...
阅读全文 3

时序数据库InfluxDB的sql聚合及搜索语法

12-11 11,035 views

      那么话说,InfluxDB的查询语法是很给力的,很像SQL语句。下面我会一一介绍下,常用的InfluxDB里面常用的SQL语句。 话说 InfluxDB给与...
阅读全文 3

使用grafana influxdb构建metric监控系统

python 11,449 views
InfluxDB 是一个开源,分布式,时间序列,事件,可度量和无外部依赖的数据库。 文章总是被爬虫爬了,这里标记下 原文地址 , xiaorui.cc InfluxDB有三大特性: 1. Time Series (时间序列):你可以使用与时间有关的相关函数(如最大,最小,求和等) 2....
阅读全文 5

使用grafana influxdb构建metric监控系统

11,449 views

InfluxDB 是一个开源,分布式,时间序列,事件,可度量和无外部依赖的数据库。 文章总是被爬虫爬了,这里标记下 原文地址 , xiaorui.cc InfluxD...
阅读全文 5

使用pipe管道使python fork多进程之间通信

python 6,977 views
这两天在研究多进程之间通信的底层的事情,以前可能更多的是用语言本身的特性和封装好的模块。 现在直接用python 本源的os.fork派生进程,用pipe 做简单的数据的交换。如果你要传输对象的话,需要针对对象进行序列化,比如用pickle、msgpack这类的。  不扯了...
阅读全文 0

使用pipe管道使python fork多进程之间通信

12-10 6,977 views

这两天在研究多进程之间通信的底层的事情,以前可能更多的是用语言本身的特性和封装好的模块。 现在直接用python 本源的os.fork派生进程,用pipe 做简单的...
阅读全文 0

使用pig来实现快速的分析爬虫及cdn日志

python 5,940 views
      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是离线分析。  也就是对接工单系统,可以方便的自动分析特定的日志。 以前有个哥们是个geek,分析的程序...
阅读全文 3

使用pig来实现快速的分析爬虫及cdn日志

12-06 5,940 views

      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是...
阅读全文 3

用gunicorn和gevent提高python web框架的性能

python 11,656 views
这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Django、CherryPy 都带着 WSGI server 。当然性能都不好,自带的web server 更多的是测试用途, 线上发布时,...
阅读全文 4

用gunicorn和gevent提高python web框架的性能

11-22 11,656 views

这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Dj...
阅读全文 4

python多线程获取队列引起程序挂起堵塞的情况

python 8,009 views
前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可能,哥们写的代码这么健壮。  Python [ruifengyun@bj-buzz-dev01 ~]$...
阅读全文 5

python多线程获取队列引起程序挂起堵塞的情况

11-18 8,009 views

前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可...
阅读全文 5

使用rabbitmq工作队列实现任务的负载分发

python 6,901 views
前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们要远程的用ipmitool的接口来抓取信息,要是用在client搞的话,还要给他们密码,这个是很不安全的。 so,要搞...
阅读全文 1

使用rabbitmq工作队列实现任务的负载分发

11-17 6,901 views

前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们...
阅读全文 1

celery rabbitmq实现任务队列的异步执行

python 10,123 views
前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hello ,最近总是被爬虫,标记下博客的原文地址 blog.xiaorui.cc 对于上面的场景,我曾经用t...
阅读全文 0

celery rabbitmq实现任务队列的异步执行

11-16 10,123 views

前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hel...
阅读全文 0

使用python的并发库concurrent.futures实现异步

python 13,664 views
第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异步才可以的。而且如果用futures之后,在一定程度上缓解了这个事情。  concurrent.futures 是python3...
阅读全文 1

使用python的并发库concurrent.futures实现异步

11-15 13,664 views

第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异...
阅读全文 1

使用python PIL库实现复杂的图片验证码及缩略图

python 7,174 views
前言:       记得域用户平台里面集成了一个叫做信使的功能,但是怕别人无脑的乱发,避免别人乱调用接口,加了一个图片验证码的功能~  实现起来比较简单,用python的PIL库就可以实现了,用pil还可以制作复杂的图片。 Hi,更多的pyth...
阅读全文 1

使用python PIL库实现复杂的图片验证码及缩略图

11-14 7,174 views

前言:       记得域用户平台里面集成了一个叫做信使的功能,但是怕别人无脑的乱发,避免别人乱调用接口,加了一个图片验证码的功能~ &n...
阅读全文 1

socket服务端开发之测试使用threading和gevent框架

python 7,660 views
这篇文章是去年写的,今个拿出来分享下。 话题是测试下多线程和gevent在socket服务端的小包表现能力,测试的方法不太严谨,也没有用event loop + pool池的概念。不管是gevent和threading有pool的情况下,确实很省资源,但是固定的pool线程池容易在突发事件中被...
阅读全文 0

socket服务端开发之测试使用threading和gevent框架

7,660 views

这篇文章是去年写的,今个拿出来分享下。 话题是测试下多线程和gevent在socket服务端的小包表现能力,测试的方法不太严谨,也没有用event loop + pool池...
阅读全文 0

pypy提升pyhton脚本的执行速度及性能

python 5,338 views
啥是pypy 简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 PHP 代码转成 C++ 代码. 为什么要将一种语言转成另一种语言? 首先是目标语言可能在性能(如C语言)和/或跨...
阅读全文 0

pypy提升pyhton脚本的执行速度及性能

5,338 views

啥是pypy 简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 P...
阅读全文 0

python使用mrjob实现hadoop上的mapreduce

python 7,347 views
前言:      这两天忙着把51cto里面的博客,转回我的独立博客,以前只是顾着在51写了,才发现原来我写了那么多东西。      正题,咱们一般写mapreduce是通过java的mapreduce api或者是python调用streaming来写的。然而身为pyth...
阅读全文 0

python使用mrjob实现hadoop上的mapreduce

7,347 views

前言:      这两天忙着把51cto里面的博客,转回我的独立博客,以前只是顾着在51写了,才发现原来我写了那么多东西。    &n...
阅读全文 0

python下简单实现select和epoll的socket网络编程

python 8,950 views
Na今天就简单说说关于python下的socket的select和eopll的接口开发 ~ select模型目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实 上从现在看来,这也是它所剩不多的优点之一,现在其实更多的人用epoll,在 python下epoll文档有...
阅读全文 0

python下简单实现select和epoll的socket网络编程

11-13 8,950 views

Na今天就简单说说关于python下的socket的select和eopll的接口开发 ~ select模型目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,...
阅读全文 0

Restful风格的HTTP Basic Athorization基本认证API接口

python,web 9,753 views
前言:      话说什么是基本认证?   在HTTP协议进行通信的过程中,HTTP协议定义了基本认证过程以允许HTTP服务器对WEB浏览器进行用户身份证的方法,当一个客户端向HTTP服务 器进行数据请求时,如果客户端未被认证,则HTTP服务器将...
阅读全文 10

Restful风格的HTTP Basic Athorization基本认证API接口

11-12 9,753 views

前言:      话说什么是基本认证?   在HTTP协议进行通信的过程中,HTTP协议定义了基本认证过程以允许HTTP服务器对WEB浏览...
阅读全文 10

调用sendcloud接口实现邮件推送收取[python]

python 6,033 views
前言: 今天和朋友聊起了邮件的发送,他那边有个业务是定期给大量的用户发新事物邮件,经常会有被拒的情况,还有就是他们的报警有点多,搞得exchange时常有压力,现在这哥们正琢磨着要搞邮件集群,我觉得没必要这么纠结,咱们可以利用第三方的邮件api。 ...
阅读全文 4

调用sendcloud接口实现邮件推送收取[python]

6,033 views

前言: 今天和朋友聊起了邮件的发送,他那边有个业务是定期给大量的用户发新事物邮件,经常会有被拒的情况,还有就是他们的报警有点多,搞得exchange时...
阅读全文 4

图片站方案之redis扩展记录fastdfs数据方案

python,运维 6,510 views
v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他说最近打算实现一个文件分享的网站,一个是图片,一个是特定的文件,比如压缩包、pdf这类的。 他个人是做idc...
阅读全文 0

图片站方案之redis扩展记录fastdfs数据方案

6,510 views

v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他...
阅读全文 0

基于leveldb的高性能Nosql数据库ssdb

DB,python 6,884 views
前言:      SSDB是一个开源的高性能数据库服务器, 使用Google 的 LevelDB作为存储引擎, 大家有可能没听过leveldb的名字,那么淘宝开源另一个nosql,名字叫 tair的,大家应该有所耳闻吧。 他同样是基于leveldb做的开发。ssdb支持T级别的数据...
阅读全文 1

基于leveldb的高性能Nosql数据库ssdb

11-11 6,884 views

前言:      SSDB是一个开源的高性能数据库服务器, 使用Google 的 LevelDB作为存储引擎, 大家有可能没听过leveldb的名字,那么淘宝...
阅读全文 1

从redis转移到mongodb做任务队列增删改查管理

DB,mongodb,python 8,322 views
前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个key并删除清空队列,有可能会根据一些content的字段来进行删除,有可能是会针对发件人,或者是时间段来删除...
阅读全文 0

从redis转移到mongodb做任务队列增删改查管理

8,322 views

前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个k...
阅读全文 0