分析高并发下tcp连接数暴涨的原因

python 119 views
前言:         这节主要是聊聊怎么快速定位到问题,并解决问题的。 这次问题更多的是由于造了一个连接池轮子,然后自己坑自己。 事情是这样,一堆Ops找我,说我的任务派发系统连接数高达2w, 还都是established已经建立连接的,其他time-wai...
阅读全文 0

分析高并发下tcp连接数暴涨的原因

02-02 119 views

前言:         这节主要是聊聊怎么快速定位到问题,并解决问题的。 这次问题更多的是由于造了一个连接池轮子,然后自己坑自己。 事...
阅读全文 0

解决peewee的异步非阻塞和多进程问题

python 160 views
前言:        熟悉我的朋友大多是知道我喜欢python的peewee orm,因为他的源码简单,api使用简单,可扩展性强。可能这事都传出去,所以这段时间连续有两个老铁问我peewee的问题。我想这两个问题还有些代表性,所以干脆简单总结下发个文章。...
阅读全文 0

解决peewee的异步非阻塞和多进程问题

01-29 160 views

前言:        熟悉我的朋友大多是知道我喜欢python的peewee orm,因为他的源码简单,api使用简单,可扩展性强。可能这事都传出去,...
阅读全文 0

技术分享之redis高级讲义

python,redis,技术分享 997 views
前言:     有段时间没做技术分享了,这次抽时间给大家分享下redis的高级技巧。  记得两年前在公司做过一场redis的源码实现及设计。 这次想继续这个话题,讲下redis集群的具体实现。 但周边人对这个不敢兴趣,毕竟大家是开发人员,反而对redis应...
阅读全文 0

技术分享之redis高级讲义

12-02 997 views

前言:     有段时间没做技术分享了,这次抽时间给大家分享下redis的高级技巧。  记得两年前在公司做过一场redis的源码实现及设计。 这次...
阅读全文 0

设计不可更改的python常量类

python 1,107 views
前言:       Python到现在也没出来个const方法,当然我们可以使用别的方法来实现。 比如,可以使用enum来定义const… 对的,python社区里不少人这么干的,居然在邮件列表里得到不少人的认同…        con...
阅读全文 0

设计不可更改的python常量类

11-21 1,107 views

前言:       Python到现在也没出来个const方法,当然我们可以使用别的方法来实现。 比如,可以使用enum来定义const… 对的,python...
阅读全文 0

python requests response值判断

python 1,680 views
好久没写文章了,前些日子在忙活婚礼的事情.  9 2 在韩国婚礼算是完美结束了。 一生的另一半算是妥当了,心轻松了,可以放荡了.  这段时间在技术上没太多的思考的,只是碰到几个虾米小问题。 往往问题不大,也会致使你花心思去排解。  今遇到一...
阅读全文 0

python requests response值判断

09-15 1,680 views

好久没写文章了,前些日子在忙活婚礼的事情.  9 2 在韩国婚礼算是完美结束了。 一生的另一半算是妥当了,心轻松了,可以放荡了.  这段时间在...
阅读全文 0

Python服务端内存泄露的处理过程

python 1,799 views
吐槽 内存泄露 ?  内存暴涨 ? OOM ? 首先提一下我自己曾经历过多次内存泄露,到底有几次? 我自己心里悲伤的回想了下,造成线上影响的内存泄露事件有将近5次了,没上线就查出内存暴涨次数可能更多。这次不是最惨,相信也不会是最后的内存...
阅读全文 0

Python服务端内存泄露的处理过程

08-20 1,799 views

吐槽 内存泄露 ?  内存暴涨 ? OOM ? 首先提一下我自己曾经历过多次内存泄露,到底有几次? 我自己心里悲伤的回想了下,造成线上影...
阅读全文 0

多进程下gevent遇到管道冲突问题

python 2,210 views
前言: 在我的Python技术群里,有朋友问我一个gevent的问题,在multiprocessing 使用 gevent的时候,为什么会出现管道卡死的情况?   一听到这些字眼,我当时迅速回答出答案, 是由于 坑爹的 monkey.patch_all() 补丁引起的..   一般来说,盲...
阅读全文 0

多进程下gevent遇到管道冲突问题

08-01 2,210 views

前言: 在我的Python技术群里,有朋友问我一个gevent的问题,在multiprocessing 使用 gevent的时候,为什么会出现管道卡死的情况?   一听...
阅读全文 0

慢系统调用引起的signal无效问题

python 1,676 views
前言: 前两天一同事说 遇到一个比较奇妙的问题,说是线程下信号居然无效…    哈哈,我一听注册的信号无效,我内心就知道是怎么个一回事了。 后来经过我的快速排查,也证实了我的想法,确实由于慢系统调用引起signal无效。  ...
阅读全文 0

慢系统调用引起的signal无效问题

07-19 1,676 views

前言: 前两天一同事说 遇到一个比较奇妙的问题,说是线程下信号居然无效…    哈哈,我一听注册的信号无效,我内心就知道是怎么...
阅读全文 0

使用dis opcode论证Python的线程安全

python 1,553 views
前言:     群里有不少的朋友来回的问我一个问题。 python线程不是有gil么? 为毛还说计数不是线程安全的么?  list, set, dict 是线程安全么?   先说下答案, 计数不是原子的, list, set, dict 在python里是原子操作。 那么...
阅读全文 0

使用dis opcode论证Python的线程安全

07-09 1,553 views

前言:     群里有不少的朋友来回的问我一个问题。 python线程不是有gil么? 为毛还说计数不是线程安全的么?  list, set, dict 是线程安...
阅读全文 0

python cffi调用sync实现原子计数及cas

python 1,961 views
通常python实现原子计数是需要加锁解决的,  至于原因我们知道,像count += 1 这种操作不是原子的。一个加法操作,本质是分成三步的: 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新.  http://xiaorui.cc/?p=4613 ...
阅读全文 0

python cffi调用sync实现原子计数及cas

06-20 1,961 views

通常python实现原子计数是需要加锁解决的,  至于原因我们知道,像count += 1 这种操作不是原子的。一个加法操作,本质是分成三步的: 该文章...
阅读全文 0

技术分享之《Python高级内存管理》

python,技术分享 1,640 views
    前些日子朋友让我过去坐坐,顺便做个关于python的技术分享。话题有他们来挑选的,出了几个主题,最后定了python内存管理话题。  这次ppt做的简而易懂,图多字少,尽量少输出高大上的概念,多拓扑一些实用的概念。 我相信大家有些cpython源码的...
阅读全文 0

技术分享之《Python高级内存管理》

06-13 1,640 views

    前些日子朋友让我过去坐坐,顺便做个关于python的技术分享。话题有他们来挑选的,出了几个主题,最后定了python内存管理话题。  这次pp...
阅读全文 0

python多进程的cpu亲和性绑定

python 2,272 views
关于什么是cpu的亲和性的问题,大家自己去搜吧,不想在这里阐述了这讲义了。 简单说,就是让进程不要可哪跑,给定一个cpu core的范围,这样可以减少cs上下文切换后cpu cache miss的情况,节省了主存复制到cpu cache的时间。 该文章写的有些乱,欢迎来喷...
阅读全文 0

python多进程的cpu亲和性绑定

05-27 2,272 views

关于什么是cpu的亲和性的问题,大家自己去搜吧,不想在这里阐述了这讲义了。 简单说,就是让进程不要可哪跑,给定一个cpu core的范围,这样可以减少cs...
阅读全文 0

python3.6使用aiohttp开发的登陆注册

python 2,498 views
闲来无事,用python3.6 aiohttp改了一个登陆系统。 不能说系统,就一个demo代码而已。 话说python3.6增了不少的特性,对于我来说比较跟兴趣的是 –with-dtrace 探针功能 和  优化压缩的dict数据结构。  官方测试有说过 python3.6的dict比先...
阅读全文 0

python3.6使用aiohttp开发的登陆注册

05-13 2,498 views

闲来无事,用python3.6 aiohttp改了一个登陆系统。 不能说系统,就一个demo代码而已。 话说python3.6增了不少的特性,对于我来说比较跟兴趣的是 ...
阅读全文 0

解决rabbitmq消息队列的顺序及重复消费问题

python 3,468 views
五一期间去韩国游玩,顺便去了朋友公司扯淡去了。 所谓的扯淡,就是过去听技术分享,有python, golang, devops,docker一些话题。总的来说,技术方面跟国内还是有一些差距的。  正题开始,因为业务的各方面的强需求,我们使用了rabbitmq作为消息队列...
阅读全文 0

解决rabbitmq消息队列的顺序及重复消费问题

05-04 3,468 views

五一期间去韩国游玩,顺便去了朋友公司扯淡去了。 所谓的扯淡,就是过去听技术分享,有python, golang, devops,docker一些话题。总的来说,技术方面跟国...
阅读全文 0

纠结ps和top的cpu占用率不一致问题

python,内核 2,200 views
恼怒呀,一个大大的失误,让我折腾了近几个小时.   先表明下这是我自己的原因,问题体现在 linux下 ps aux 和 top 查询的cpu信息不一致导致 ! 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新.  http://xiaorui.cc...
阅读全文 0

纠结ps和top的cpu占用率不一致问题

04-26 2,200 views

恼怒呀,一个大大的失误,让我折腾了近几个小时.   先表明下这是我自己的原因,问题体现在 linux下 ps aux 和 top 查询的cpu信息不一致导致 ! ...
阅读全文 0

构建高效的python requests长连接池

python 3,647 views
前文:      最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系统都是分布式扩展的,针对这种各别问题就懒得改动了。 现在开发的缓存刷新系统,对于性能还是有些敏感的,我...
阅读全文 0

构建高效的python requests长连接池

04-03 3,647 views

前文:      最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系...
阅读全文 0