python使用redis-py-cluster操作redis cluster集群

python 8,780 views
redis3.0的集群已经搭建完了,那么开始用python来操作redis cluster集群试试,但是默认的redis模块已经是不能在使用了。  会提示下面的错误….. 关于python redis-py-cluster操作redis cluster集群原文地址 , http://xiaorui.cc/2015/05/16/pyt...
阅读全文 0

python使用redis-py-cluster操作redis cluster集群

05-16 8,780 views

redis3.0的集群已经搭建完了,那么开始用python来操作redis cluster集群试试,但是默认的redis模块已经是不能在使用了。  会提示下面的错误….. ...
阅读全文 0

python实现influxdb的orm对象关系映射模型

DB,python 5,639 views
对于数据库操作的时候,我个人特别的倾向于用ORM这种对象映射模型, 可以让你最舒服的操作数据库,另外也可以最简单的实现数据库…    比如我写后端服务的时候,如果用mysqldb,那么想当的蛋疼…    来来回回的折腾的,在大量的参数...
阅读全文 0

python实现influxdb的orm对象关系映射模型

05-13 5,639 views

对于数据库操作的时候,我个人特别的倾向于用ORM这种对象映射模型, 可以让你最舒服的操作数据库,另外也可以最简单的实现数据库…    比如...
阅读全文 0

python使用pydisque实现操作disque消息队列

python 4,911 views
关于disque的介绍,我这里就不多啰嗦了,以前写过disque的介绍,大家可以看看比较详细的介绍及安装. http://xiaorui.cc/?p=1402 我这边的主要开发是用python …. …. disque是个比较奇特的消息队列,东西不大,但是精而全,单纯做队列,要比r...
阅读全文 0

python使用pydisque实现操作disque消息队列

05-11 4,911 views

关于disque的介绍,我这里就不多啰嗦了,以前写过disque的介绍,大家可以看看比较详细的介绍及安装. http://xiaorui.cc/?p=1402 我这边的主要开...
阅读全文 0

使用Disque做分布式消息队列支持重试和ack确认

python 5,099 views
使用Disque做分布式消息队列支持重试和ack确认 …. …. 国际惯例,这里标记下文章的原文链接,   http://xiaorui.cc/?p=1402   xiaorui.cc xiaorui.cc xiaorui.cc xiaorui.cc 最近看群里有人在用Disque这个...
阅读全文 2

使用Disque做分布式消息队列支持重试和ack确认

05-10 5,099 views

使用Disque做分布式消息队列支持重试和ack确认 …. …. 国际惯例,这里标记下文章的原文链接,   http://xiaorui.cc/?p=1402 &...
阅读全文 2

python使用redis事务时遇到multi、watch和锁的问题

python 7,488 views
前段时间也读了下python的redis库的源码,看的时候也有些跳跃和粗糙,但是基本大概的过了下…. …. 越来越发现redis很是不简单…    有时间分享下对于redis库的一些理解。  redis本身应对外部请求的是单任务的,也是多线...
阅读全文 0

python使用redis事务时遇到multi、watch和锁的问题

05-09 7,488 views

前段时间也读了下python的redis库的源码,看的时候也有些跳跃和粗糙,但是基本大概的过了下…. …. 越来越发现redis很是不简单…  ...
阅读全文 0

python使用itertools cycle实现RR(round robin)轮询接口

python 5,098 views
说起RR (round robin)平均轮询,我想大家都知道的,常见的负载均衡服务器,比如 nginx、haproxy、lvs 都是支持轮询调度的…   公司有几个高人现着手开发公网爬虫的架构,分布式的http代理。   我这边会大量的调用他的http代理,这就用到了轮询...
阅读全文 3

python使用itertools cycle实现RR(round robin)轮询接口

05-07 5,098 views

说起RR (round robin)平均轮询,我想大家都知道的,常见的负载均衡服务器,比如 nginx、haproxy、lvs 都是支持轮询调度的…   公司有几个高...
阅读全文 3

使用nginx的stream tcp模块实现hbase的thrift负载

python 6,350 views
昨天已经发了篇文章,说 nginx1.9版本涵盖了ngx_stream_core_module的功能, ngx_stream_core_module是可以对tcp server进行负载均衡的。 不知道是官网针对stream的conf配置没有更新完整,还是stream本身附带的参数就不多,总觉得nginx官方出的ngx_stream_cor...
阅读全文 3

使用nginx的stream tcp模块实现hbase的thrift负载

6,350 views

昨天已经发了篇文章,说 nginx1.9版本涵盖了ngx_stream_core_module的功能, ngx_stream_core_module是可以对tcp server进行负载均衡的。 不知道是官...
阅读全文 3

python使用json web token (jwt)实现http api的加密传输

python 8,671 views
什么是json web token (jwt) , 这个一个协议安全的标准,用来保证数据的一致性及安全性的。 这次说下加jwt的非对称加密方式.   注: rsa的性能很烂… 先聊聊,咱们常用的对于http api加密的方式有哪几种?  文章的原文地址是,...
阅读全文 0

python使用json web token (jwt)实现http api的加密传输

05-05 8,671 views

什么是json web token (jwt) , 这个一个协议安全的标准,用来保证数据的一致性及安全性的。 这次说下加jwt的非对称加密方式.   注: rsa的性能很...
阅读全文 0

关于python使用批量方式插入hbase的性能测试

python 4,707 views
这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒吧, 花了我2000多快,因为没有散台了,这种时候让人等到有散台会很没有意思的….  所以直接去了...
阅读全文 1

关于python使用批量方式插入hbase的性能测试

05-03 4,707 views

这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒...
阅读全文 1

python实现代码更新后实时自动reload机制

python 5,133 views
以前分享了一个监控到代码更新后程序自动reload的机制,当时用的是监控启动文件md5的机制。  现在换了一种方法, 用watchdog来监控文件的更新状态。  watchdog相比以前的方法,方便的实现了关于多个文件的监控,或是针对文件夹的监控…   借助...
阅读全文 0

python实现代码更新后实时自动reload机制

04-28 5,133 views

以前分享了一个监控到代码更新后程序自动reload的机制,当时用的是监控启动文件md5的机制。  现在换了一种方法, 用watchdog来监控文件的更新状态。 &...
阅读全文 0

python开发支持edns扩展协议的dns服务器

python 5,514 views
恩,这两天正在看dns的东西, 对dns的edns的协议很是感兴趣….  有人估计还不知道edns是啥?  简单的来说,我们选用了google的dns地址来做dns的解析,但是如果没有扩展协议的话,我们会在之恩给你的dns层把你识别为国外的用户。 那么后来谷歌提出一...
阅读全文 0

python开发支持edns扩展协议的dns服务器

04-24 5,514 views

恩,这两天正在看dns的东西, 对dns的edns的协议很是感兴趣….  有人估计还不知道edns是啥?  简单的来说,我们选用了google的dns地址来做d...
阅读全文 0

python使用happybase thrift库实现hbase的scan搜索

python 6,756 views
原文链接是在    http://xiaorui.cc  我想有些人可能不太懂python thrift scan的用法,我这边写个我自己常用的一个场景实现,查看某个列族里面以xxx开头的 …  恩, 先用happybase实现一个简单的scan,row_prefix的实现… ...
阅读全文 3

python使用happybase thrift库实现hbase的scan搜索

04-22 6,756 views

原文链接是在    http://xiaorui.cc  我想有些人可能不太懂python thrift scan的用法,我这边写个我自己常用的一个场景实现,查看某...
阅读全文 3

分享python实现的lfu缓存模块-pylfu

python 3,880 views
根据老外的一篇文章改成的lfu模块,我发现在github或者是pypi里面是有大量的lru代码,但是lfu的反而没有,看来和我一样都喜欢用fifo和lru的算法。。。 那我自己麻烦点,放到开源的库里面, 供应大家下载。  老外的原文连接是在 http://code.activestate.com/r...
阅读全文 5

分享python实现的lfu缓存模块-pylfu

04-21 3,880 views

根据老外的一篇文章改成的lfu模块,我发现在github或者是pypi里面是有大量的lru代码,但是lfu的反而没有,看来和我一样都喜欢用fifo和lru的算法。。。 那我...
阅读全文 5

基于最少使用频次的LFU缓存淘汰算法

python 4,873 views
概念分析        LFU(Least Frequently Used)即最近最不常用.看名字就知道是个基于访问频次的一种算法。以前写过几篇关于用python实现lru算法的模块,有兴趣的朋友可以看看。 LRU是基于时间的,会将时间上最不常访问的数据给淘汰,在算法表...
阅读全文 2

基于最少使用频次的LFU缓存淘汰算法

04-20 4,873 views

概念分析        LFU(Least Frequently Used)即最近最不常用.看名字就知道是个基于访问频次的一种算法。以前写过几篇关于用python...
阅读全文 2

python OrderedDict实现有expire和max的队列和缓存服务

python 6,121 views
    周天又寂寞了….今天天气不是太好,有些阴冷,估计大街上的小妞肯定不会穿裙子…   估计不能拿着板凳去看美女的大腿了….        最近一直对服务端的开发很是感兴趣,python本身的数据结构是很容易实现...
阅读全文 2

python OrderedDict实现有expire和max的队列和缓存服务

04-19 6,121 views

    周天又寂寞了….今天天气不是太好,有些阴冷,估计大街上的小妞肯定不会穿裙子…   估计不能拿着板凳去看美女的大腿了…...
阅读全文 2

使用装饰器为tornado restful api做异常处理

python,tornado 4,747 views
公司正在启动对外供应数据的业务,是两个高手负责, 架构方面看起来很是浏览,nginx lua tornado的组合,识别一些自然语法,由ast语法树来解析构建规则。   遇到一个规范的问题,不是所有的第三方的调用是合法的,这里说的合法更多的是符不符合特定语法的规则...
阅读全文 1

使用装饰器为tornado restful api做异常处理

04-17 4,747 views

公司正在启动对外供应数据的业务,是两个高手负责, 架构方面看起来很是浏览,nginx lua tornado的组合,识别一些自然语法,由ast语法树来解析构建规则。 &...
阅读全文 1

python zookeeper解决redis做分布式锁带来的坑

python 5,989 views
我自己写了一个redis分布式锁的模块,已经推到pypi里面了。 但是带来了一个问题是,如果客户端自己因为内存泄露被系统内核给oom干掉了。 在分布式的架构下,一堆的节点去获取锁是徒劳的,只能等我们先前redis的TTL自动消逝….当然我自己也扩展了一...
阅读全文 0

python zookeeper解决redis做分布式锁带来的坑

04-09 5,989 views

我自己写了一个redis分布式锁的模块,已经推到pypi里面了。 但是带来了一个问题是,如果客户端自己因为内存泄露被系统内核给oom干掉了。 在分布...
阅读全文 0

分布式爬虫之python动态获取随机选择出口ip

python 8,400 views
这两天有几个朋友都在问我,你们爬虫的多ip方案是如何搞定的。   其实我们的方案多元化的,根据历史遗留的问题,大部分是采用的分布式http代理的方式,也就是开了n个虚拟机,然后安装http代理的服务,以前是squid做正向代理.  因为squid代理...
阅读全文 3

分布式爬虫之python动态获取随机选择出口ip

04-07 8,400 views

这两天有几个朋友都在问我,你们爬虫的多ip方案是如何搞定的。   其实我们的方案多元化的,根据历史遗留的问题,大部分是采用的分布式htt...
阅读全文 3

logstash联合python kafka进行异常数据监控

python 8,596 views
kafka的优点,我想大家应该知道…. 一个可以支撑大流量的消息系统, 要比redis靠谱点,毕竟人家数据可以落地硬盘… 现在所有的日志都通过logstash收集到了elasticsearch里面。 我们可以通过kibana来进行查看各种日志报表,但是问题是我们如何针对...
阅读全文 3

logstash联合python kafka进行异常数据监控

04-05 8,596 views

kafka的优点,我想大家应该知道…. 一个可以支撑大流量的消息系统, 要比redis靠谱点,毕竟人家数据可以落地硬盘… 现在所有的日志都通过...
阅读全文 3

django存储emoji表情时遇到的Incorrect string value问题

python 5,657 views
最近忙活电商数据的接入接口,可以把各大电商的数据同步到我们本地的Elasticsearch…. 也是个蛋疼的事情… 中间遇到个小问题. 在入库的时候遇到了问题,总是会爆  Incorrect string value: ‘\\xF0\\x9F\\x90\\xA8′ for column R...
阅读全文 2

django存储emoji表情时遇到的Incorrect string value问题

04-02 5,657 views

最近忙活电商数据的接入接口,可以把各大电商的数据同步到我们本地的Elasticsearch…. 也是个蛋疼的事情… 中间遇到个小问题. 在入库的时候...
阅读全文 2

python rq任务队列是如何实现优先级队列 [上]

python 6,593 views
这段时间跟同事聊了些任务优先级队列的话题,正好我们这把大量的celery抛弃,开始用rq来做任务队列,因为celery太大,所以改造起来甚是恶心到爆,还不如选择一个简单干练的python rq。 xiaorui.cc xiaorui.cc xiaorui.cc xiaorui.cc 微信的...
阅读全文 4

python rq任务队列是如何实现优先级队列 [上]

04-01 6,593 views

这段时间跟同事聊了些任务优先级队列的话题,正好我们这把大量的celery抛弃,开始用rq来做任务队列,因为celery太大,所以改造起来甚是恶心到爆,还不如选...
阅读全文 4