请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

python requests response值判断

python 1,681 views
好久没写文章了,前些日子在忙活婚礼的事情.  9 2 在韩国婚礼算是完美结束了。 一生的另一半算是妥当了,心轻松了,可以放荡了.  这段时间在技术上没太多的思考的,只是碰到几个虾米小问题。 往往问题不大,也会致使你花心思去排解。  今遇到一个reqeusts返回值的一个问题,花了不短时间调,后来发...
阅读全文 0

python requests response值判断

9-15 1,681 views

好久没写文章了,前些日子在忙活婚礼的事情.  9 2 在韩国婚礼算是完美结束了。 一生的另一半算是妥当了,心轻松了,可以放荡了.  这段时间在...
阅读全文 0

构建高效的python requests长连接池

python 3,648 views
前文:      最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系统都是分布式扩展的,针对这种各别问题就懒得改动了。 现在开发的缓存刷新系统,对于性能还是有些敏感的,我后面会给出最优的http长连接池构建方式。 该...
阅读全文 0

构建高效的python requests长连接池

4-03 3,648 views

前文:      最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系...
阅读全文 0

不要粗暴的销毁python线程

python 3,380 views
前言:     不要试图用强制方法杀掉一个python线程,这从服务设计上就存在不合理性。 多线程本用来任务的协作并发,如果你使用强制手段干掉线程,那么很大几率出现意想不到的bug。  请记住一点,锁资源不会因为线程退出而释放锁资源 ! 我们可以举出两个常见的例子: 1. 有个A线程拿到了...
阅读全文 0

不要粗暴的销毁python线程

2-22 3,380 views

前言:     不要试图用强制方法杀掉一个python线程,这从服务设计上就存在不合理性。 多线程本用来任务的协作并发,如果你使用强制手段干掉线...
阅读全文 0

关于海量数据处理的一些话题

架构设计,高性能 2,981 views
这两天跟朋友聊了些关于海量数据的处理问题…    咱们暂且不提那些hadoop、spark的集群解决方案,就单单说海量数据的处理方式,一般面试题中会有设计… 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新.   http://xiaorui.cc/?p=3735 ...
阅读全文 0

关于海量数据处理的一些话题

9-05 2,981 views

这两天跟朋友聊了些关于海量数据的处理问题…    咱们暂且不提那些hadoop、spark的集群解决方案,就单单说海量数据的处理方式,一般面试题...
阅读全文 0

基于timerfd epoll开发的io定时器 [下]

python 3,405 views
接着上下文 接着上文, 上次内容是说epoll timerfd的原理和函数方法,下文主要是python epoll timerfd的之间的调用. 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新. http://xiaorui.cc/?p=3693 在描述之前,我再次老生常谈关于timerfd的原理。 我们的timerfd...
阅读全文 0

基于timerfd epoll开发的io定时器 [下]

7-30 3,405 views

接着上下文 接着上文, 上次内容是说epoll timerfd的原理和函数方法,下文主要是python epoll timerfd的之间的调用. 该文章写的有些乱,欢...
阅读全文 0

给redis-py提交pull request引起的思考

python 5,006 views
起因是这样的,昨天突然发现以前用redis python的时候,从来没注意过他在多线程,多进程下fd复用的情况,直接都是公用一个连接对象。  对比了多个好项目代码,貌似大家对mysql,mongodb十分的注意,都尽量不要让他有socket fd共享的情况,而对于redis的使用很是粗暴,直接共享。  那么话说回来...
阅读全文 3

给redis-py提交pull request引起的思考

5-17 5,006 views

起因是这样的,昨天突然发现以前用redis python的时候,从来没注意过他在多线程,多进程下fd复用的情况,直接都是公用一个连接对象。  对比了多...
阅读全文 3

源码分析multiprocessing的Value Array共享内存原理

python 6,682 views
这次我们通过分析python的multiprocessing的源码,来看看Value Array怎么通过mmap ctypes实现的多进程之间的共享内存.      当第一次使用python多进程模块(multiprocessing)的Value Array做数据共享,就觉得一定是基于mmap实现的。 当然python文档中也说明是共享内存的方式了。 mmap只是提...
阅读全文 0

源码分析multiprocessing的Value Array共享内存原理

5-10 6,682 views

这次我们通过分析python的multiprocessing的源码,来看看Value Array怎么通过mmap ctypes实现的多进程之间的共享内存.      当...
阅读全文 0

打造mvc框架之实现高效的路由规则匹配

python,web 6,065 views
    在python的主流框架里面对于route路由规则的处理是相当的直接,都是使用python re正则表达式来处理 。想想这也是理所当然的,如果想要构建丰富的url匹配,那必须要用正则表达式的。 另外route路由器本身不会重新排序,他的顺序是你程序构建route规则的顺序。 该文章写的有些乱,欢迎来喷 ! ...
阅读全文 0

打造mvc框架之实现高效的路由规则匹配

4-17 6,065 views

    在python的主流框架里面对于route路由规则的处理是相当的直接,都是使用python re正则表达式来处理 。想想这也是理所当然的,如果想要构建丰...
阅读全文 0

打造mvc框架之解析socket底层的http协议

python,web 5,764 views
打造mvc框架是个连载的博文,虽然说是要造轮子,但其实更多的是学习web框架的具体实现原理。  其实我发现很多web框架没有直接解析http协议的方法,像bottle,flask都是记住于wsgi server来实现的。 关于wsgi协议,我会专门再讲解一次。 正事因为别的web框架没有直接去实现解析http协议的方法,所以引起了不少...
阅读全文 0

打造mvc框架之解析socket底层的http协议

4-14 5,764 views

打造mvc框架是个连载的博文,虽然说是要造轮子,但其实更多的是学习web框架的具体实现原理。  其实我发现很多web框架没有直接解析http协议的方法,像...
阅读全文 0

打造mvc框架之python template模板实现原理

python,web 6,617 views
造轮子        喜欢造轮子的我,那肯定也是实现过一套mvc的web框架的人,不止一套。 先前是用gevent做wsgi,jinja2做的模板,peewee做orm,我做了一个控制器来衔接各个组件,  如果想使用gevent的协程处理每个request_handler需要做一些妥协,比如第三方库的选择。   ...
阅读全文 4

打造mvc框架之python template模板实现原理

4-12 6,617 views

造轮子        喜欢造轮子的我,那肯定也是实现过一套mvc的web框架的人,不止一套。 先前是用gevent做wsgi,jinja2做的模...
阅读全文 4

python下使用ctypes获取threading线程id

python 9,140 views
python的多线程坑坑不断… … python的threading因为封装的太好, 很多本源的东西在threading对象里是拿不到的.  首先需要说明的是python threading的name跟ident,这些看起来是线程名字,线程id其实只是个标识,注意是标识而已.  简单过了下threading创建对象及启动线程的代码,发现ident...
阅读全文 2

python下使用ctypes获取threading线程id

3-21 9,140 views

python的多线程坑坑不断… … python的threading因为封装的太好, 很多本源的东西在threading对象里是拿不到的.  首先需要说明的是p...
阅读全文 2

实现python redis客户端的的封装定制化

python 6,912 views
感叹自己拿来这么大的激情呀,前段时间对分布式的raft感兴趣,这两天又着迷于golang。 听起来是不是有装逼的成分?  勿喷 … 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。 http://xiaorui.cc/?p=2990 今天一直在封闭式开发,针对电商接入SuperSpide适配...
阅读全文 0

实现python redis客户端的的封装定制化

3-17 6,912 views

感叹自己拿来这么大的激情呀,前段时间对分布式的raft感兴趣,这两天又着迷于golang。 听起来是不是有装逼的成分?  勿喷 … 该文章写...
阅读全文 0

使用python fcntl实现本地文件互斥锁

python 6,615 views
文件互斥锁是什么?  他的应用场景又是什么?  这是我前段是开发的一个模块,主要用途是避免了多个程序多个进程需要数据安全.  可能场景我没有描述清楚,简单描述就是,解决多进程下需要的互斥锁的场景.. 对于互斥锁,我开发的,提交过的项目代码已经够多了,比如redis分布式锁,etcd分布式锁,但是就...
阅读全文 0

使用python fcntl实现本地文件互斥锁

11-29 6,615 views

文件互斥锁是什么?  他的应用场景又是什么?  这是我前段是开发的一个模块,主要用途是避免了多个程序多个进程需要数据安全.  可能场景我...
阅读全文 0

关于使用python来实现redis和mysql的连接池

python 7,888 views
有朋友问我连接池是怎么实现的,我曾经写过一个python mysql的连接池库,他的原理就是利用python queue或则是list实现的。具体点就是一开始构造实例化对象的时候,预先在一个队列里放入指定数目的链接对象。  那么这样的话,每次我们要调用链接对象的时候,他会从链接队列里pop一个,如果这个链接对象不...
阅读全文 0

关于使用python来实现redis和mysql的连接池

11-18 7,888 views

有朋友问我连接池是怎么实现的,我曾经写过一个python mysql的连接池库,他的原理就是利用python queue或则是list实现的。具体点就是一开始构造实例化对象...
阅读全文 0

扯扯在开发中python闭包的应用

python 6,201 views
跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得写类class。  我就直接用闭包。。  闭包(closure)是函数式编程的重要的语法结构。函数式编程是一种编程范式 (而面向过程编程和面向对象编程也都是...
阅读全文 0

扯扯在开发中python闭包的应用

7-22 6,201 views

跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

python 9,343 views
最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   scan扫描库是,定时的统计计算上个小时的各种数据,不管是从mysql或者是hbase….   实时统计是,线上的几大核心模块自主发出metric信息到mq...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

7-01 9,343 views

最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   ...
阅读全文 0