浅谈twisted应用中异步回调的方式及线程的应用

python 19,309 views
前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twisted写的,真是没招,只能先硬着头皮上。对于twisted以前看过一些,测试性质的写了一个小应用,是一个负载分...
阅读全文 8

浅谈twisted应用中异步回调的方式及线程的应用

11-10 19,309 views

前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twist...
阅读全文 8

自动化运维中的统一权限认证及单点登录实现

python,运维开发 7,400 views
文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一的brac权限角色配置系统。       以前记得最初做运维开发项目的时候,每个app都是一...
阅读全文 9

自动化运维中的统一权限认证及单点登录实现

7,400 views

文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一...
阅读全文 9

使用redis-py的两个类Redis和StrictRedis时遇到的坑

python 12,089 views
前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好好看文档。       redis-py提供两个类Redis和StrictRedis用于实现Redis的命令...
阅读全文 13

使用redis-py的两个类Redis和StrictRedis时遇到的坑

12,089 views

前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好...
阅读全文 13

python使用sqlite3模块操作sqlite数据库

python 5,398 views
介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。 一些应用可是使用SQLite保存内部数据。它也可以在构建应用原型的时候使用,以便于以后转移到更大型的...
阅读全文 0

python使用sqlite3模块操作sqlite数据库

11-09 5,398 views

介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。...
阅读全文 0

在用python做服务端时实现守候进程的那些事

python 5,141 views
嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的python deamon的思路: 1.进程脱离父进程及终端绑定,如果不这样的话,主进程退出,派生的子进程也跟着...
阅读全文 0

在用python做服务端时实现守候进程的那些事

5,141 views

嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的pyt...
阅读全文 0

利用google authenticator构建平台的otp动态口令

python 9,957 views
前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都需要用动态口令令牌的,用rsa的多点,这栋系价格不便宜,国内也有些便宜的,一些游戏公司的将军令就是从国...
阅读全文 2

利用google authenticator构建平台的otp动态口令

9,957 views

前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都...
阅读全文 2

基于redis又比celery更加简单的异步任务队列RQ

python 8,828 views
前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档貌似也没有celery多,但是为啥会介绍rq这个东西 因为他够简单。 当然他虽然简单,但是也是需要中间...
阅读全文 6

基于redis又比celery更加简单的异步任务队列RQ

8,828 views

前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档...
阅读全文 6

Python项目中用到的redis经验及数据类型

python 4,773 views
先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了redis, 遇到了一些个问题和开发中提高性能的方法,这都分享出来,共同学习。 下面先简单讲讲Red...
阅读全文 2

Python项目中用到的redis经验及数据类型

4,773 views

先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了re...
阅读全文 2

小计-python调用pymongo模糊正则查询的方法

mongodb,python 6,615 views
这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实让人闹心。  mongodb shell模式的模糊查询是用,db.project.find({‘name’:/xiaorui.cc...
阅读全文 4

小计-python调用pymongo模糊正则查询的方法

11-04 6,615 views

这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实...
阅读全文 4

python使用deque实现高性能双端队列

python 5,725 views
今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是后时候堵塞在insert动作。 我推荐他用deque。今天宅了一天,写了个hadoop pig的脚本,可以很容易的得出以前...
阅读全文 2

python使用deque实现高性能双端队列

11-02 5,725 views

今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是...
阅读全文 2

使用redis来实现tornado session的分布式存储

python,web 7,543 views
前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是咋测试的,我自己是没到那种牛逼的抗链接能力,不然咋说,该优化还是优化,EFI要这么较真,可以试着用nginx...
阅读全文 9

使用redis来实现tornado session的分布式存储

7,543 views

前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是...
阅读全文 9

tornado subprocess实现异步调用系统命令及脚本

python,web 6,642 views
前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能,完成了不完整的wsgi协议,可用于做快速的web开发,封装了epoll性能较好。文章主要以分析tornado的网络部分...
阅读全文 1

tornado subprocess实现异步调用系统命令及脚本

6,642 views

前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能...
阅读全文 1

python实现最少使用算法lru包括dict和list队列

python 5,469 views
Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门用来做排序,我每次get的时候,维护的那个dict里面key的value 加1 。你懂的。  用途,一般在于...
阅读全文 3

python实现最少使用算法lru包括dict和list队列

11-01 5,469 views

Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门...
阅读全文 3

使用mako模板引擎使bottle数据渲染更加灵活

python 5,264 views
这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。    有用过jinja2 的朋友,知道他有个叫做filter的过滤器的东西。python独立的模板,我用过jinja2和ma...
阅读全文 0

使用mako模板引擎使bottle数据渲染更加灵活

10-29 5,264 views

这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。 &nbs...
阅读全文 0

python使用happybase批量的操作hbase

python 10,356 views
最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务,每个业务用自己的接口,这样能稳定了不少。  既然问题已经到...
阅读全文 2

python使用happybase批量的操作hbase

10-22 10,356 views

最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群...
阅读全文 2

python使用schema库进行数据校验

python 6,730 views
以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python from jsonschema import validate schema = { "type" : "object", "properties" : { ...
阅读全文 3

python使用schema库进行数据校验

10-20 6,730 views

以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python ...
阅读全文 3

Saltstack通过api接口调用modules实时监控

python,saltstack 4,893 views
前言:      这也是以前的内容,一说起实时监控,我就有很多的想法 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的模式的,还有就是redis pubsub模式,以前从同事的nagios获取流量数据(这个结果很郁闷,nagios加了Ndoutils...
阅读全文 0

Saltstack通过api接口调用modules实时监控

10-15 4,893 views

前言:      这也是以前的内容,一说起实时监控,我就有很多的想法 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的...
阅读全文 0

Python使用基于json文件的tinydb数据库

python 6,215 views
为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(W / O试验)。 面向文件:如MongoDB,您可以存储任何文件(表示为dict)在TinyDB。 为了你的幸福,优化:Ti...
阅读全文 0

Python使用基于json文件的tinydb数据库

10-11 6,215 views

为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(...
阅读全文 0

使用python做大数据缓存时遇到的问题

python 4,711 views
  被gc和weakref打败了。 这两天在折腾一个数据缓存的rpc服务,简单说就是个内存缓存,计划不打算用redis,memcached。  因为毕竟这些nosql是跨进程的,链接又是tcp链接,肯定是有损耗的。  但是,我想的太简单了。 再实现的过程中,发现内存...
阅读全文 3

使用python做大数据缓存时遇到的问题

09-29 4,711 views

  被gc和weakref打败了。 这两天在折腾一个数据缓存的rpc服务,简单说就是个内存缓存,计划不打算用redis,memcached。  因为毕竟这些nosql是...
阅读全文 3

python下的ahocorasick实现快速的关键字匹配

python 7,015 views
这两天在折腾下数据的分析及导出,爬虫抓取页面的时候,我们会坐做关键字的匹配,在数据库中标记这个url是否有我们需要的关键字。 这个时候你不能再用find()了,这太没有效率了,而且你会发现在同时处理几千个任务的时候,会出现cpu的瓶颈。 如果采用ahocorasick来...
阅读全文 1

python下的ahocorasick实现快速的关键字匹配

09-21 7,015 views

这两天在折腾下数据的分析及导出,爬虫抓取页面的时候,我们会坐做关键字的匹配,在数据库中标记这个url是否有我们需要的关键字。 这个时候你不能再用find(...
阅读全文 1

使用HashRing实现python下的一致性hash

python 7,269 views
前言:         我们在实现服务器负载均衡时候可供选择的负载均衡的算法有很多,包括:  轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法...
阅读全文 0

使用HashRing实现python下的一致性hash

09-20 7,269 views

前言:         我们在实现服务器负载均衡时候可供选择的负载均衡的算法有很多,包括:  轮循算法(Roun...
阅读全文 0