python表格方式打印数据

python 5,848 views
在python脚本里如果想简单的print数据出来,但又想有table的效果,怎么办?   一开始就是自己尝试打印table,但最直接的问题就是—- ||| 对不齐。  如果想对其表格方式打印,那么就需要补长减短,这样就能保证数据的整齐打印。  我这里就不造...
阅读全文 0

python表格方式打印数据

03-10 5,848 views

在python脚本里如果想简单的print数据出来,但又想有table的效果,怎么办?   一开始就是自己尝试打印table,但最直接的问题就是—- ||| 对不齐。...
阅读全文 0

使用multiprocessing pool的某参数实现资源回收

python 4,702 views
饭饱之后,继续研究multiprocessing的设计实现。建议大家抽时间都看下常用的库的源码,常常会有意外的收获。  比如我这边发现multiprocessing Pool的构造函数有个叫maxtasksperchild参数。 我查了文档,又对应了代码,终于整明白是啥个意思。 该文章...
阅读全文 0

使用multiprocessing pool的某参数实现资源回收

03-09 4,702 views

饭饱之后,继续研究multiprocessing的设计实现。建议大家抽时间都看下常用的库的源码,常常会有意外的收获。  比如我这边发现multiprocessing P...
阅读全文 0

二分查找算法实现的python bisect有序队列

python 4,171 views
今天在搜python的redis sorted set实现的时候,发现了一个名叫bisect的模块。  感觉有些意思就介绍下。  该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。 http://xiaorui.cc/2016/03/01/%E4%BA%8C%E5%88%86%E6%9F%A5...
阅读全文 0

二分查找算法实现的python bisect有序队列

03-01 4,171 views

今天在搜python的redis sorted set实现的时候,发现了一个名叫bisect的模块。  感觉有些意思就介绍下。  该文章写的有些乱,欢迎来喷 ! 另外文...
阅读全文 0

代码分析Python requests库中文编码问题

python 5,968 views
… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电商,那么字符集charset很容易就确认,你甚至可以单方面把encoding给固定住。 但作为舆情数据来说,他每天要...
阅读全文 2

代码分析Python requests库中文编码问题

02-19 5,968 views

… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电...
阅读全文 2

关于python peewee的事务回滚用法

python 4,887 views
发现python peewee的资料相比sqlalchemy来说真心少呀,于是乎为了让这两个orm有竞争产生发展,我决定多写点peewee的文档.    还有一方面是官方的docs文档有些地方说的不明不白的。 虽然大部分功能都给出了样例代码,但对于有些的场景光看docs文档...
阅读全文 0

关于python peewee的事务回滚用法

02-18 4,887 views

发现python peewee的资料相比sqlalchemy来说真心少呀,于是乎为了让这两个orm有竞争产生发展,我决定多写点peewee的文档.    还有一方面...
阅读全文 0

代码分析peewee ForeignKeyField外键的用法

python 5,667 views
这是新年后的第一篇文章,上班第一天还在恢复上下文的状态.   就又看了下peewee的代码。 正题开始,Mysql外键的作用我想大家都知道,外键是为了更好的约束数据保证了数据的完整性,在一定程度上杜绝了bug的产生。 插入非空值时,如果主键表中没...
阅读全文 1

代码分析peewee ForeignKeyField外键的用法

02-16 5,667 views

这是新年后的第一篇文章,上班第一天还在恢复上下文的状态.   就又看了下peewee的代码。 正题开始,Mysql外键的作用我想大家都知道,外键是为了更...
阅读全文 1

使用__getitem__魔法函数实现多层嵌套字典dict

python 4,794 views
主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"xiaorui.cc"} In [16]: data['blog'] Out[16]: 'xiaorui.cc' In [17]: data['at'] -----------------...
阅读全文 0

使用__getitem__魔法函数实现多层嵌套字典dict

01-31 4,794 views

主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"xi...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

python 4,444 views
《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考虑使用zlib进行压缩,但是json针对zlib的数据序列化时会报错. 文章写的不是很严谨,欢迎来喷,另外...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

01-26 4,444 views

《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考...
阅读全文 0

分析requests源码解决headers无法json问题

python 4,919 views
今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量耦合调用他们的rest api,又为了kpi稳定的推进.  哥直接用tornado自己写一套完整的mock server…...
阅读全文 0

分析requests源码解决headers无法json问题

01-25 4,919 views

今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量...
阅读全文 0

基于python的json web tokens(jwt)加密认证实现

python 6,429 views
《使用python来实现json web tokens加密协议》 这两天是北京很冷,远在南方的广东都在下雪,这个冷可想而知了…   正体开始,我自己在尝试写一个单点登录的小系统,里面权限控制有用到jwt (json web tokens)安全策略,对于jwt,我以前专门写过一篇文...
阅读全文 0

基于python的json web tokens(jwt)加密认证实现

01-24 6,429 views

《使用python来实现json web tokens加密协议》 这两天是北京很冷,远在南方的广东都在下雪,这个冷可想而知了…   正体开始,我自己在尝试写...
阅读全文 0

源码分析Tornado PeriodicCallback Crontab定时任务实现

python 6,272 views
记得写过一篇文章介绍了常见的定时任务实现方法,有sched,APScheduler, tornado等. 有兴趣的朋友可以找找.  文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/20/%E6%BA%90%E7%A0%81%E5%88%8...
阅读全文 0

源码分析Tornado PeriodicCallback Crontab定时任务实现

01-20 6,272 views

记得写过一篇文章介绍了常见的定时任务实现方法,有sched,APScheduler, tornado等. 有兴趣的朋友可以找找.  文章写的不是很严谨,欢迎来喷,另...
阅读全文 0

用multiprocessing.reduction解决多进程传递文件描述符

python 5,263 views
使用multiprocessing.reduction解决多进程传递文件描述符的问题 最近还真的是跟multiprocessing干上了,原本习惯使用os.fork的我,现在也开始被迫还是研究多进程multiprocessing带来的问题. 对于复杂的进程调度,我不太喜欢用multiprocessing,因为他封装过度,导致...
阅读全文 0

用multiprocessing.reduction解决多进程传递文件描述符

01-19 5,263 views

使用multiprocessing.reduction解决多进程传递文件描述符的问题 最近还真的是跟multiprocessing干上了,原本习惯使用os.fork的我,现在也开始被迫还是研究多...
阅读全文 0

python multiprocessing遇到Can’t pickle instancemethod问题

python 4,807 views
遇到一个坑,Can’t pickle instancemethod … 前言:     今天写了一个小脚本,因为涉及到cpu运算的事件,所以用了多进程.  因为大量复用了以前的类,就遇到了奇怪的问题。 我这里就不暴露我的业务代码,临时写了个小demo供大...
阅读全文 0

python multiprocessing遇到Can’t pickle instancemethod问题

01-18 4,807 views

遇到一个坑,Can’t pickle instancemethod … 前言:     今天写了一个小脚本,因为涉及到cpu运算的事件,所以用了多进程. ...
阅读全文 0

python下multiprocessing和gevent的组合使用

python 6,604 views
对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协程也是线程的一种,只是io调度上自己说了算而已。  那么如何使用多个cpu核心? 可以利用多进程mutli...
阅读全文 1

python下multiprocessing和gevent的组合使用

01-17 6,604 views

对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协...
阅读全文 1

关于tornado ThreadPoolExecutor(threadpool)线程池的实现

python 5,729 views
腾讯的同事问我关于tornado线程池的事,正好趁着这个机会写一篇关于tornado的threadpool线程池异步工作模式实现. 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/14/%E5%85%B3%E4%BA%8Et...
阅读全文 0

关于tornado ThreadPoolExecutor(threadpool)线程池的实现

01-14 5,729 views

腾讯的同事问我关于tornado线程池的事,正好趁着这个机会写一篇关于tornado的threadpool线程池异步工作模式实现. 文章写的不是很严谨,欢迎来...
阅读全文 0

源码分析python apscheduler的实现

python 5,350 views
今天的话题是,源码分析python apscheduler计划任务的实现.  不知道为什么总是跟计划任务较真,自己一些实现了一个分布式的定时任务系统,也在博客中做过分享,但还是很喜欢看看别人是怎么写的,有什么可以借鉴的。  新版的apscheduler 3.1.x有些太杂乱...
阅读全文 0

源码分析python apscheduler的实现

01-10 5,350 views

今天的话题是,源码分析python apscheduler计划任务的实现.  不知道为什么总是跟计划任务较真,自己一些实现了一个分布式的定时任务系统,也在博客中做...
阅读全文 0

解决python elasticsearch的TransportError异常问题

elasticsearch,python 6,996 views
解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsearch数据延迟的微信报警。 通过看日志得知consumer进程异常了, ps aux f看了下进程状态貌似是正常.  我...
阅读全文 0

解决python elasticsearch的TransportError异常问题

01-06 6,996 views

解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsea...
阅读全文 0

python的enum枚举数据类型的实现

python 4,597 views
    枚举类型最大的优点直观, 省事.  举个常用的例子,你要表示星期1-7,你可以用int1-7,但是当你把它作为参数的时候,有时后你就给考虑传入0,8的情况.而且用数字表示还需要相应的注释和文档. 这个时候你定义个一个枚举CreateDate,名字就叫字面就叫...
阅读全文 0

python的enum枚举数据类型的实现

01-05 4,597 views

    枚举类型最大的优点直观, 省事.  举个常用的例子,你要表示星期1-7,你可以用int1-7,但是当你把它作为参数的时候,有时后你就给考虑传入0,...
阅读全文 0

用python实现数据格式转换模块[json,yaml,csv]

python 5,537 views
    元旦的时候回青岛了,原本是打算去海边散散心,看看那清净的大海陶冶哥的情操. 世事难料,青岛也是重污染,特么的.    这几天没事干,就陪着小孩玩,顺手写了一个小工具,用来转换常见的数据格式的,里面用了python的黑魔法. 文章...
阅读全文 1

用python实现数据格式转换模块[json,yaml,csv]

01-04 5,537 views

    元旦的时候回青岛了,原本是打算去海边散散心,看看那清净的大海陶冶哥的情操. 世事难料,青岛也是重污染,特么的.    这几天没事...
阅读全文 1

实现简单的python计时统计功能模块

python 4,390 views
文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新.  http://xiaorui.cc/2015/12/26/%E5%AE%9E%E7%8E%B0%E7%AE%80%E5%8D%95%E7%9A%84python%E8%AE%A1%E6%97%B6%E7%BB%9F%E8%AE%A1%E5%8A%9F%E8%83%BD%E6%A8%A1%E5%9D%97/ ...
阅读全文 0

实现简单的python计时统计功能模块

12-26 4,390 views

文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新.  http://xiaorui.cc/2015/12/26/%E5%AE%9E%E7%8E%B0%E7%AE%80%E5%8...
阅读全文 0

多进程下用requests访问http api时遇到的坑

python 8,898 views
简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以为这些操作基本是网络io的操作,用多线程是没有问题. 但是通过这几天的观察速度还真是有些慢,每小时才50w的...
阅读全文 0

多进程下用requests访问http api时遇到的坑

12-22 8,898 views

简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以...
阅读全文 0