使用pig来实现快速的分析爬虫及cdn日志

python 5,657 views
      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是离线分析。  也就是对接工单系统,可以方便的自动分析特定的日志。 以前有个哥们是个geek,分析的程序...
阅读全文 3

使用pig来实现快速的分析爬虫及cdn日志

12-06 5,657 views

      苦逼呀,这两天我在分析了爬虫的日志,和一小部分的cdn的日志。爬虫的日志收集cs是我们自己写的一套收集系统。  现在需要做的是...
阅读全文 3

用gunicorn和gevent提高python web框架的性能

python 10,465 views
这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Django、CherryPy 都带着 WSGI server 。当然性能都不好,自带的web server 更多的是测试用途, 线上发布时,...
阅读全文 4

用gunicorn和gevent提高python web框架的性能

11-22 10,465 views

这两天在准备ppt,里面有涉及到WSGI的应该用,以前自己在51cto写过关于gunicorn的文章,所以就转了过来。那么不扯淡了。 其实比如 Flask,webpy,Dj...
阅读全文 4

python多线程获取队列引起程序挂起堵塞的情况

python 7,142 views
前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可能,哥们写的代码这么健壮。  Python [ruifengyun@bj-buzz-dev01 ~]$...
阅读全文 5

python多线程获取队列引起程序挂起堵塞的情况

11-18 7,142 views

前言:       尼玛悲剧呀,今天被一个小问题折腾死了,场景很简单,产品经理说,大量的节点的数据都不动了,哥们一听,这个火呀。 怎么可...
阅读全文 5

使用rabbitmq工作队列实现任务的负载分发

python 6,320 views
前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们要远程的用ipmitool的接口来抓取信息,要是用在client搞的话,还要给他们密码,这个是很不安全的。 so,要搞...
阅读全文 1

使用rabbitmq工作队列实现任务的负载分发

11-17 6,320 views

前言:       大部门下面的测试部,也就是子键他们在搞大批量的硬件信息数据抓取,这次不能用那些高端的saltstack ansible了。因为我们...
阅读全文 1

celery rabbitmq实现任务队列的异步执行

python 9,138 views
前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hello ,最近总是被爬虫,标记下博客的原文地址 blog.xiaorui.cc 对于上面的场景,我曾经用t...
阅读全文 0

celery rabbitmq实现任务队列的异步执行

11-16 9,138 views

前言:       celery这东西在任务调度方面,很有一套的,用了他也有几年了,下面就给大家介绍下我以前使用过celery的项目。 Hel...
阅读全文 0

使用python的并发库concurrent.futures实现异步

python 12,456 views
第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异步才可以的。而且如果用futures之后,在一定程度上缓解了这个事情。  concurrent.futures 是python3...
阅读全文 0

使用python的并发库concurrent.futures实现异步

11-15 12,456 views

第一次接触futures这个库是在tornado中,4.0的tornado会经常的使用他,因为tornado本身的那个corouting的异步功能,是需要逻辑里面所调用的模块本身就支持异...
阅读全文 0

使用python PIL库实现复杂的图片验证码及缩略图

python 6,617 views
前言:       记得域用户平台里面集成了一个叫做信使的功能,但是怕别人无脑的乱发,避免别人乱调用接口,加了一个图片验证码的功能~  实现起来比较简单,用python的PIL库就可以实现了,用pil还可以制作复杂的图片。 Hi,更多的pyth...
阅读全文 1

使用python PIL库实现复杂的图片验证码及缩略图

11-14 6,617 views

前言:       记得域用户平台里面集成了一个叫做信使的功能,但是怕别人无脑的乱发,避免别人乱调用接口,加了一个图片验证码的功能~ &n...
阅读全文 1

socket服务端开发之测试使用threading和gevent框架

python 6,965 views
这篇文章是去年写的,今个拿出来分享下。 话题是测试下多线程和gevent在socket服务端的小包表现能力,测试的方法不太严谨,也没有用event loop + pool池的概念。不管是gevent和threading有pool的情况下,确实很省资源,但是固定的pool线程池容易在突发事件中被...
阅读全文 0

socket服务端开发之测试使用threading和gevent框架

6,965 views

这篇文章是去年写的,今个拿出来分享下。 话题是测试下多线程和gevent在socket服务端的小包表现能力,测试的方法不太严谨,也没有用event loop + pool池...
阅读全文 0

pypy提升pyhton脚本的执行速度及性能

python 4,883 views
啥是pypy 简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 PHP 代码转成 C++ 代码. 为什么要将一种语言转成另一种语言? 首先是目标语言可能在性能(如C语言)和/或跨...
阅读全文 0

pypy提升pyhton脚本的执行速度及性能

4,883 views

啥是pypy 简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 P...
阅读全文 0

python使用mrjob实现hadoop上的mapreduce

python 6,730 views
前言:      这两天忙着把51cto里面的博客,转回我的独立博客,以前只是顾着在51写了,才发现原来我写了那么多东西。      正题,咱们一般写mapreduce是通过java的mapreduce api或者是python调用streaming来写的。然而身为pyth...
阅读全文 0

python使用mrjob实现hadoop上的mapreduce

6,730 views

前言:      这两天忙着把51cto里面的博客,转回我的独立博客,以前只是顾着在51写了,才发现原来我写了那么多东西。    &n...
阅读全文 0

python下简单实现select和epoll的socket网络编程

python 8,019 views
Na今天就简单说说关于python下的socket的select和eopll的接口开发 ~ select模型目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实 上从现在看来,这也是它所剩不多的优点之一,现在其实更多的人用epoll,在 python下epoll文档有...
阅读全文 0

python下简单实现select和epoll的socket网络编程

11-13 8,019 views

Na今天就简单说说关于python下的socket的select和eopll的接口开发 ~ select模型目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,...
阅读全文 0

Restful风格的HTTP Basic Athorization基本认证API接口

python,web 8,843 views
前言:      话说什么是基本认证?   在HTTP协议进行通信的过程中,HTTP协议定义了基本认证过程以允许HTTP服务器对WEB浏览器进行用户身份证的方法,当一个客户端向HTTP服务 器进行数据请求时,如果客户端未被认证,则HTTP服务器将...
阅读全文 10

Restful风格的HTTP Basic Athorization基本认证API接口

11-12 8,843 views

前言:      话说什么是基本认证?   在HTTP协议进行通信的过程中,HTTP协议定义了基本认证过程以允许HTTP服务器对WEB浏览...
阅读全文 10

调用sendcloud接口实现邮件推送收取[python]

python 5,327 views
前言: 今天和朋友聊起了邮件的发送,他那边有个业务是定期给大量的用户发新事物邮件,经常会有被拒的情况,还有就是他们的报警有点多,搞得exchange时常有压力,现在这哥们正琢磨着要搞邮件集群,我觉得没必要这么纠结,咱们可以利用第三方的邮件api。 ...
阅读全文 4

调用sendcloud接口实现邮件推送收取[python]

5,327 views

前言: 今天和朋友聊起了邮件的发送,他那边有个业务是定期给大量的用户发新事物邮件,经常会有被拒的情况,还有就是他们的报警有点多,搞得exchange时...
阅读全文 4

图片站方案之redis扩展记录fastdfs数据方案

python,运维 6,055 views
v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他说最近打算实现一个文件分享的网站,一个是图片,一个是特定的文件,比如压缩包、pdf这类的。 他个人是做idc...
阅读全文 0

图片站方案之redis扩展记录fastdfs数据方案

6,055 views

v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他...
阅读全文 0

基于leveldb的高性能Nosql数据库ssdb

DB,python 6,169 views
前言:      SSDB是一个开源的高性能数据库服务器, 使用Google 的 LevelDB作为存储引擎, 大家有可能没听过leveldb的名字,那么淘宝开源另一个nosql,名字叫 tair的,大家应该有所耳闻吧。 他同样是基于leveldb做的开发。ssdb支持T级别的数据...
阅读全文 1

基于leveldb的高性能Nosql数据库ssdb

11-11 6,169 views

前言:      SSDB是一个开源的高性能数据库服务器, 使用Google 的 LevelDB作为存储引擎, 大家有可能没听过leveldb的名字,那么淘宝...
阅读全文 1

从redis转移到mongodb做任务队列增删改查管理

DB,mongodb,python 7,629 views
前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个key并删除清空队列,有可能会根据一些content的字段来进行删除,有可能是会针对发件人,或者是时间段来删除...
阅读全文 0

从redis转移到mongodb做任务队列增删改查管理

7,629 views

前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个k...
阅读全文 0

采用python实现抓包构建故障分析平台

python,运维开发 6,512 views
前言:       同事今天和我说,他现在的任务在做一个头疼的问题,说时尚了点,就是用自动化解脱心碎及放弃的处理故障的杂事,他这边刚入职,貌似是带领一帮小弟解决别人搞不定的问题,但是有些业务部够单纯,把事直接抛给我同事这边。。。 很无...
阅读全文 4

采用python实现抓包构建故障分析平台

11-10 6,512 views

前言:       同事今天和我说,他现在的任务在做一个头疼的问题,说时尚了点,就是用自动化解脱心碎及放弃的处理故障的杂事,他这边刚入...
阅读全文 4

分布式网络质量探测系统之前端ajax展现探讨

python 3,754 views
周六自己在家甚是无聊,看到朋友们在讨论分布式监控分析,要的效果是 阿里测,17ce那种形式的,想查询监控啥的时候,在一个页面上能看到所以监控点提供的数据。比如,我想要查询针对一个url的get,dig数据。在这边直接采用zabbix、nagios的数据不太合理,因为我想要...
阅读全文 0

分布式网络质量探测系统之前端ajax展现探讨

3,754 views

周六自己在家甚是无聊,看到朋友们在讨论分布式监控分析,要的效果是 阿里测,17ce那种形式的,想查询监控啥的时候,在一个页面上能看到所以监控点提供的数...
阅读全文 0

Tornado和yaml构建自动生成nginx配置的api

python,tornado,运维开发 5,267 views
最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,我主张的是配置的渲染,用模板去定制舒展,而不是用正则去匹配然后做一些修正。  ...
阅读全文 2

Tornado和yaml构建自动生成nginx配置的api

5,267 views

最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,...
阅读全文 2

使用tornado AsyncHTTPClient异步访问第三方资源

python 8,674 views
前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能直接从库里面查询,也是要通过申请好rest的去访问。        这不用说的那么多,大...
阅读全文 0

使用tornado AsyncHTTPClient异步访问第三方资源

8,674 views

前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

python,saltstack 6,306 views
前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装配置的安装包推送到客户端。 唉, salstack下发文件慢,大家有没有头疼过,我是真的头疼过。   ...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

6,306 views

前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装...
阅读全文 0