解决mac osx下pip安装ipython权限的问题

python 12,251 views
这两天又把家里的mac的系统给重装了,重装的原因是我乐意…    其实理由很简单,本人想写个mac osx系统的使用文档,当然是初级的那种…  这尼玛还没意气风发就狼狈不堪了… 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断...
阅读全文 13

解决mac osx下pip安装ipython权限的问题

03-27 12,251 views

这两天又把家里的mac的系统给重装了,重装的原因是我乐意…    其实理由很简单,本人想写个mac osx系统的使用文档,当然是初级的那种…...
阅读全文 13

详解python调用redis lua内嵌脚本的高级用法

python 8,510 views
Lua 脚本功能是 Reids 2.6 版本开始提供的高级功能, 我们可以通过redis内嵌的 Lua 环境的进行搞复杂的需求。 使用内置的lua脚本环境可以解决Redis长久以来不能高效地处理 CAS (check-and-set)命令的缺点, 并且可以通过组合使用多个命令, 轻松实现以前很难实现...
阅读全文 5

详解python调用redis lua内嵌脚本的高级用法

8,510 views

Lua 脚本功能是 Reids 2.6 版本开始提供的高级功能, 我们可以通过redis内嵌的 Lua 环境的进行搞复杂的需求。 使用内置的lua脚本环境可以解决Redis长久以来...
阅读全文 5

解决requests的logging日志提示问题

python 7,483 views
解决requests的logging日志提示问题 python下哪个httpclient最好用,我想大家首选都是requets 。 这次使用requests调用nlp,分词http服务的时候,会提示大量的requests建立连接的日志…  后来逐步排除发现当你配置logging的时候,requests才会发出各种各样...
阅读全文 0

解决requests的logging日志提示问题

03-25 7,483 views

解决requests的logging日志提示问题 python下哪个httpclient最好用,我想大家首选都是requets 。 这次使用requests调用nlp,分词http服务的时候,会提示大量...
阅读全文 0

源码分析elasticsearch的pyes bulk批量实现

elasticsearch,python 6,698 views
关于elasticsearch的操作,我一般是使用python elasticsearch库的。 维护他人的代码所以间接的再研究下pyes。 我们的所有业务都是依赖于ElasticSearch数据库的,不说java,python关于es的模块有elasticsearch和pyes这两个库。  而我跟伟哥用的都是python...
阅读全文 0

源码分析elasticsearch的pyes bulk批量实现

6,698 views

关于elasticsearch的操作,我一般是使用python elasticsearch库的。 维护他人的代码所以间接的再研究下pyes。 我们的所有业务都是依赖于ElasticSearch...
阅读全文 0

python stack栈的实现方式

python 5,467 views
在stack栈数据结构中,数据像积木那样一层层堆起来,后面加入的数据就放在最上层。使用的时候,最上层的数据第一个被用掉,这就叫做”后进先出”,英文叫LIFO 。 下面是用python实现了stack栈,实现的逻辑很清晰,栈是后进后出,类似子弹...
阅读全文 0

python stack栈的实现方式

03-23 5,467 views

在stack栈数据结构中,数据像积木那样一层层堆起来,后面加入的数据就放在最上层。使用的时候,最上层的数据第一个被用掉,这就叫做”后进先出”...
阅读全文 0

python下使用ctypes获取threading线程id

python 8,396 views
python的多线程坑坑不断… … python的threading因为封装的太好, 很多本源的东西在threading对象里是拿不到的.  首先需要说明的是python threading的name跟ident,这些看起来是线程名字,线程id其实只是个标识,注意是标识而已.  简单...
阅读全文 2

python下使用ctypes获取threading线程id

03-21 8,396 views

python的多线程坑坑不断… … python的threading因为封装的太好, 很多本源的东西在threading对象里是拿不到的.  首先需要说明的是p...
阅读全文 2

实现python redis客户端的的封装定制化

python 6,457 views
感叹自己拿来这么大的激情呀,前段时间对分布式的raft感兴趣,这两天又着迷于golang。 听起来是不是有装逼的成分?  勿喷 … 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。 http://xiaorui.cc/?p=2990 ...
阅读全文 0

实现python redis客户端的的封装定制化

03-17 6,457 views

感叹自己拿来这么大的激情呀,前段时间对分布式的raft感兴趣,这两天又着迷于golang。 听起来是不是有装逼的成分?  勿喷 … 该文章写...
阅读全文 0

python表格方式打印数据

python 8,502 views
在python脚本里如果想简单的print数据出来,但又想有table的效果,怎么办?   一开始就是自己尝试打印table,但最直接的问题就是—- ||| 对不齐。  如果想对其表格方式打印,那么就需要补长减短,这样就能保证数据的整齐打印。  我这里就不造...
阅读全文 0

python表格方式打印数据

03-10 8,502 views

在python脚本里如果想简单的print数据出来,但又想有table的效果,怎么办?   一开始就是自己尝试打印table,但最直接的问题就是—- ||| 对不齐。...
阅读全文 0

使用multiprocessing pool的某参数实现资源回收

python 6,507 views
饭饱之后,继续研究multiprocessing的设计实现。建议大家抽时间都看下常用的库的源码,常常会有意外的收获。  比如我这边发现multiprocessing Pool的构造函数有个叫maxtasksperchild参数。 我查了文档,又对应了代码,终于整明白是啥个意思。 该文章...
阅读全文 0

使用multiprocessing pool的某参数实现资源回收

03-09 6,507 views

饭饱之后,继续研究multiprocessing的设计实现。建议大家抽时间都看下常用的库的源码,常常会有意外的收获。  比如我这边发现multiprocessing P...
阅读全文 0

二分查找算法实现的python bisect有序队列

python 5,460 views
今天在搜python的redis sorted set实现的时候,发现了一个名叫bisect的模块。  感觉有些意思就介绍下。  该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。 http://xiaorui.cc/2016/03/01/%E4%BA%8C%E5%88%86%E6%9F%A5...
阅读全文 0

二分查找算法实现的python bisect有序队列

03-01 5,460 views

今天在搜python的redis sorted set实现的时候,发现了一个名叫bisect的模块。  感觉有些意思就介绍下。  该文章写的有些乱,欢迎来喷 ! 另外文...
阅读全文 0

代码分析Python requests库中文编码问题

python 9,010 views
… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电商,那么字符集charset很容易就确认,你甚至可以单方面把encoding给固定住。 但作为舆情数据来说,他每天要...
阅读全文 2

代码分析Python requests库中文编码问题

02-19 9,010 views

… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电...
阅读全文 2

关于python peewee的事务回滚用法

python 6,908 views
发现python peewee的资料相比sqlalchemy来说真心少呀,于是乎为了让这两个orm有竞争产生发展,我决定多写点peewee的文档.    还有一方面是官方的docs文档有些地方说的不明不白的。 虽然大部分功能都给出了样例代码,但对于有些的场景光看docs文档...
阅读全文 0

关于python peewee的事务回滚用法

02-18 6,908 views

发现python peewee的资料相比sqlalchemy来说真心少呀,于是乎为了让这两个orm有竞争产生发展,我决定多写点peewee的文档.    还有一方面...
阅读全文 0

代码分析peewee ForeignKeyField外键的用法

python 7,842 views
这是新年后的第一篇文章,上班第一天还在恢复上下文的状态.   就又看了下peewee的代码。 正题开始,Mysql外键的作用我想大家都知道,外键是为了更好的约束数据保证了数据的完整性,在一定程度上杜绝了bug的产生。 插入非空值时,如果主键表中没...
阅读全文 1

代码分析peewee ForeignKeyField外键的用法

02-16 7,842 views

这是新年后的第一篇文章,上班第一天还在恢复上下文的状态.   就又看了下peewee的代码。 正题开始,Mysql外键的作用我想大家都知道,外键是为了更...
阅读全文 1

使用__getitem__魔法函数实现多层嵌套字典dict

python 6,239 views
主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"xiaorui.cc"} In [16]: data['blog'] Out[16]: 'xiaorui.cc' In [17]: data['at'] ---------------...
阅读全文 0

使用__getitem__魔法函数实现多层嵌套字典dict

01-31 6,239 views

主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

python 5,717 views
《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考虑使用zlib进行压缩,但是json针对zlib的数据序列化时会报错. 文章写的不是很严谨,欢迎来喷,另外...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

01-26 5,717 views

《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考...
阅读全文 0

分析requests源码解决headers无法json问题

python 6,624 views
今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量耦合调用他们的rest api,又为了kpi稳定的推进.  哥直接用tornado自己写一套完整的mock server…...
阅读全文 0

分析requests源码解决headers无法json问题

01-25 6,624 views

今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量...
阅读全文 0

基于python的json web tokens(jwt)加密认证实现

python 8,663 views
《使用python来实现json web tokens加密协议》 这两天是北京很冷,远在南方的广东都在下雪,这个冷可想而知了…   正体开始,我自己在尝试写一个单点登录的小系统,里面权限控制有用到jwt (json web tokens)安全策略,对于jwt,我以前专门写过一篇文...
阅读全文 0

基于python的json web tokens(jwt)加密认证实现

01-24 8,663 views

《使用python来实现json web tokens加密协议》 这两天是北京很冷,远在南方的广东都在下雪,这个冷可想而知了…   正体开始,我自己在尝试写...
阅读全文 0

源码分析Tornado PeriodicCallback Crontab定时任务实现

python 8,117 views
记得写过一篇文章介绍了常见的定时任务实现方法,有sched,APScheduler, tornado等. 有兴趣的朋友可以找找.  文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/20/%E6%BA%90%E7%A0%81%E5%88%8...
阅读全文 0

源码分析Tornado PeriodicCallback Crontab定时任务实现

01-20 8,117 views

记得写过一篇文章介绍了常见的定时任务实现方法,有sched,APScheduler, tornado等. 有兴趣的朋友可以找找.  文章写的不是很严谨,欢迎来喷,另...
阅读全文 0

用multiprocessing.reduction解决多进程传递文件描述符

python 6,501 views
使用multiprocessing.reduction解决多进程传递文件描述符的问题 最近还真的是跟multiprocessing干上了,原本习惯使用os.fork的我,现在也开始被迫还是研究多进程multiprocessing带来的问题. 对于复杂的进程调度,我不太喜欢用multiprocessing,因为他封装过度,导致...
阅读全文 0

用multiprocessing.reduction解决多进程传递文件描述符

01-19 6,501 views

使用multiprocessing.reduction解决多进程传递文件描述符的问题 最近还真的是跟multiprocessing干上了,原本习惯使用os.fork的我,现在也开始被迫还是研究多...
阅读全文 0

python multiprocessing遇到Can’t pickle instancemethod问题

python 7,065 views
遇到一个坑,Can’t pickle instancemethod … 前言:     今天写了一个小脚本,因为涉及到cpu运算的事件,所以用了多进程.  因为大量复用了以前的类,就遇到了奇怪的问题。 我这里就不暴露我的业务代码,临时写了个小demo供大...
阅读全文 0

python multiprocessing遇到Can’t pickle instancemethod问题

01-18 7,065 views

遇到一个坑,Can’t pickle instancemethod … 前言:     今天写了一个小脚本,因为涉及到cpu运算的事件,所以用了多进程. ...
阅读全文 0

python下multiprocessing和gevent的组合使用

python 9,129 views
对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协程也是线程的一种,只是io调度上自己说了算而已。  那么如何使用多个cpu核心? 可以利用多进程mutli...
阅读全文 1

python下multiprocessing和gevent的组合使用

01-17 9,129 views

对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协...
阅读全文 1