请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

构建高效的python requests长连接池

python 184 views
前文:      最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系统都是分布式扩展的,针对这种各别问题就懒得改动了。 现在开发的缓存刷新系统,对于性能还是有些敏感的,我后面会给出最优的http长连接池构建方式。 该...
阅读全文 0

构建高效的python requests长连接池

4-03 184 views

前文:      最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系...
阅读全文 0

解决requests的logging日志提示问题

python 4,567 views
解决requests的logging日志提示问题 python下哪个httpclient最好用,我想大家首选都是requets 。 这次使用requests调用nlp,分词http服务的时候,会提示大量的requests建立连接的日志…  后来逐步排除发现当你配置logging的时候,requests才会发出各种各样的日志.   Python ...
阅读全文 0

解决requests的logging日志提示问题

3-25 4,567 views

解决requests的logging日志提示问题 python下哪个httpclient最好用,我想大家首选都是requets 。 这次使用requests调用nlp,分词http服务的时候,会提示大量...
阅读全文 0

代码分析Python requests库中文编码问题

python 5,466 views
… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电商,那么字符集charset很容易就确认,你甚至可以单方面把encoding给固定住。 但作为舆情数据来说,他每天要抓取几十万个不同网站的敏感数据,所以这就需要我们更...
阅读全文 2

代码分析Python requests库中文编码问题

2-19 5,466 views

… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电...
阅读全文 2

分析requests源码解决headers无法json问题

python 4,627 views
今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量耦合调用他们的rest api,又为了kpi稳定的推进.  哥直接用tornado自己写一套完整的mock server…   文章写的不是很严谨,欢迎来喷,另外该文...
阅读全文 0

分析requests源码解决headers无法json问题

1-25 4,627 views

今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量...
阅读全文 0

多进程下用requests访问http api时遇到的坑

python 8,353 views
简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以为这些操作基本是网络io的操作,用多线程是没有问题. 但是通过这几天的观察速度还真是有些慢,每小时才50w的数据 (另外产品狗催我..  mysql-es导出服务速度...
阅读全文 0

多进程下用requests访问http api时遇到的坑

12-22 8,353 views

简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以...
阅读全文 0