不要粗暴的销毁python线程

python 41 views
前言:     不要试图用强制方法杀掉一个python线程,这从服务设计上就存在不合理性。 多线程本用来任务的协作并发,如果你使用强制手段干掉线程,那么很大几率出现意想不到的bug。  请记住一点,锁资源不会因为线程退出而释放锁资源 ! ...
阅读全文 0

不要粗暴的销毁python线程

02-22 41 views

前言:     不要试图用强制方法杀掉一个python线程,这从服务设计上就存在不合理性。 多线程本用来任务的协作并发,如果你使用强制手段干掉线...
阅读全文 0

深入理解uwsgi和gunicorn网络模型[上]

python 101 views
前言:        去年10月份建了一个python技术群,到现在为止人数已经涨到700人了。最一开始我经常在群里回应大家的问题,不管是简单还是困难的,我都会根据自己的经验来交流。 让人新奇的是一些初学者关注最多的话题不是怎么学好python,反...
阅读全文 0

深入理解uwsgi和gunicorn网络模型[上]

02-16 101 views

前言:        去年10月份建了一个python技术群,到现在为止人数已经涨到700人了。最一开始我经常在群里回应大家的问题,不管是简单...
阅读全文 0

python uvloop异步框架学习

python 158 views
uvloop 是python圈子里近两年被抄的相当火热的高性能框架,uvloop是个高性能的异步非阻塞框架,他是完整的asyncio事件循环的替代品,建立在libuv基础之上,由Cython编写而成。Uvloop最终目的使得Asyncio更加快速。    根据我个人的测试结果分析uvloop...
阅读全文 0

python uvloop异步框架学习

02-05 158 views

uvloop 是python圈子里近两年被抄的相当火热的高性能框架,uvloop是个高性能的异步非阻塞框架,他是完整的asyncio事件循环的替代品,建立在libuv基础之上,...
阅读全文 0

分析apscheduler的定时调度器源码

python 158 views
前言: 跟大家在群里聊了关于apscheduler的一些话题,大家尤其对他的时间管理感兴趣, 趁现在有空,花点时间做个分享。  其实在以前是写过apscheduler的源代码分析文章,写得太泛了,这次主要着重于定时器的相关逻辑。  python下的定时任务框架有那么...
阅读全文 0

分析apscheduler的定时调度器源码

01-22 158 views

前言: 跟大家在群里聊了关于apscheduler的一些话题,大家尤其对他的时间管理感兴趣, 趁现在有空,花点时间做个分享。  其实在以前是写过apschedul...
阅读全文 0

开源模块之python uwsgi多功能客户端

python 186 views
快过年了,也没什么心思工作了,上面也没安排什么繁重的工作了。 现在有大把的时间干自己喜欢的事情,一直都想下功夫看看uwsgi的实现源码,以前总是逃避似的挑选着看,看自己感兴趣,看一些比较容易理解的模块 。 先前遇到过gunicorn 和 uwsgi 在不同io模型...
阅读全文 0

开源模块之python uwsgi多功能客户端

01-19 186 views

快过年了,也没什么心思工作了,上面也没安排什么繁重的工作了。 现在有大把的时间干自己喜欢的事情,一直都想下功夫看看uwsgi的实现源码,以前总是逃...
阅读全文 0

小测python3.5高性能sanic异步框架

python 571 views
    Python3.4 和 Python3.5 有个较大区别是 asyncio库进化到 async关键字了.    python3.5 当然是向下兼容的,官方在3.5这个版本里推进 async 、await 关键字.    async 其实跟 @asyncio.coroutine  相等的,  await是跟...
阅读全文 0

小测python3.5高性能sanic异步框架

12-30 571 views

    Python3.4 和 Python3.5 有个较大区别是 asyncio库进化到 async关键字了.    python3.5 当然是向下兼容的,官方在3.5这个版本里推...
阅读全文 0

Python基于web的在线即时通信IM方案

python,架构设计,高性能 799 views
     有不少人天然觉得基于web的在线聊天很麻烦,其实如果只是单纯的实现聊没什么难的,难点在于怎么保证性能啊.   貌似 node.js 、java netty 、golang 的方案及文档较多一点,谁让人家靠着异步非阻塞成名已久….    ...
阅读全文 1

Python基于web的在线即时通信IM方案

11-21 799 views

     有不少人天然觉得基于web的在线聊天很麻烦,其实如果只是单纯的实现聊没什么难的,难点在于怎么保证性能啊.   貌似 node.js 、ja...
阅读全文 1

单日抓取十亿级的爬虫框架设计

python 1,225 views
日抓取十亿级的爬虫框架设计 日抓取十亿级的爬虫框架设计 日抓取十亿级的爬虫框架设计 日抓取十亿级的爬虫框架设计 爬虫这个词,让我又爱又恨.    抓过比特币,股票, 微信,微博,各大电商,知乎,汽车论坛,宝宝论坛,几十万的递归网...
阅读全文 11

单日抓取十亿级的爬虫框架设计

10-11 1,225 views

日抓取十亿级的爬虫框架设计 日抓取十亿级的爬虫框架设计 日抓取十亿级的爬虫框架设计 日抓取十亿级的爬虫框架设计 爬虫这个词,让我又爱...
阅读全文 11

使用pre-commit flake8来规范项目的pep8

python 1,029 views
pre-commit的规范 正如pre-commit的字面意思, 他的功能就是在commit之前做一些检测.  大多数是用来检测代码的规范,当然你可以加各种奇葩的需求,当你git commit的时候git会自动调用该脚本.  说来有意思,我见过的python程序员,要不很规范,要不很...
阅读全文 0

使用pre-commit flake8来规范项目的pep8

10-07 1,029 views

pre-commit的规范 正如pre-commit的字面意思, 他的功能就是在commit之前做一些检测.  大多数是用来检测代码的规范,当然你可以加各种奇葩的需求,当你...
阅读全文 0

源码分析peewee orm的读写分离

python 1,793 views
就不再长篇大论了…   我相信很多朋友都在使用ORM库来代替繁杂的原生的sql语句。 但如果有特需一点的需求,比如要主从分离?  我们以前的做法很是暴力,直接修改peewee的源码,当他在调用select相关函数的时候,会重置一个mysql db连接,当然是改成...
阅读全文 1

源码分析peewee orm的读写分离

08-14 1,793 views

就不再长篇大论了…   我相信很多朋友都在使用ORM库来代替繁杂的原生的sql语句。 但如果有特需一点的需求,比如要主从分离?  我们以前的做...
阅读全文 1

关于gevent queue遭遇hub.LoopExit问题

python 1,775 views
我的上下文 “ gevent.hub.LoopExit: This operation would block forever”   ,   使用过gevent queue的朋友估摸会遇到这类问题把?   我几年前就遇到过,当时因为各种原因,可以理解为懒惰,没有深究gevent的报错.   &...
阅读全文 4

关于gevent queue遭遇hub.LoopExit问题

08-07 1,775 views

我的上下文 “ gevent.hub.LoopExit: This operation would block forever”   ,   使用过gevent queue的朋友估摸会遇到这...
阅读全文 4

基于timerfd epoll开发的io定时器 [下]

python 1,681 views
接着上下文 接着上文, 上次内容是说epoll timerfd的原理和函数方法,下文主要是python epoll timerfd的之间的调用. 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新. http://xiaorui.cc/?p=3693 在描述之...
阅读全文 0

基于timerfd epoll开发的io定时器 [下]

07-30 1,681 views

接着上下文 接着上文, 上次内容是说epoll timerfd的原理和函数方法,下文主要是python epoll timerfd的之间的调用. 该文章写的有些乱,欢...
阅读全文 0

基于timerfd epoll开发的io定时器 [上]

python 1,857 views
造一个轮子 对的,我又重新造了一个轮子! 关于周期定时器的轮子。 以前在python环境下,用二叉堆和gevent later写过单机的定时器,后来借用redis的sorted set 加lua实现了分布式的定时器任务管理。 但我坚决不满足, 我一直想实现一个类似libevent,libev那种包...
阅读全文 5

基于timerfd epoll开发的io定时器 [上]

07-29 1,857 views

造一个轮子 对的,我又重新造了一个轮子! 关于周期定时器的轮子。 以前在python环境下,用二叉堆和gevent later写过单机的定时器,后来借用redis的sort...
阅读全文 5

小探python thrift通信框架的设计

python 2,214 views
上下文环境 先废话连篇,老生常谈说下Thrift 是什么?  他是个功能强大的通信协议组件,附带了各级socket服务,自成RPC服务.   我们知道大多数所谓的RPC远程调用服务都是基于http来开发的,为毛?  因为够简单呀。  对于server端 ...
阅读全文 0

小探python thrift通信框架的设计

07-24 2,214 views

上下文环境 先废话连篇,老生常谈说下Thrift 是什么?  他是个功能强大的通信协议组件,附带了各级socket服务,自成RPC服务.   我们...
阅读全文 0

怎么用存储过程来提高事务的并发

DB,python 2,429 views
在描述使用存储过程解决事务并发之前,简单描述下上下问。  我做了一个简单积分的对外接口,因为需要做几个表的查询和创建更改,在调用特别频繁的时候,会发现小范围阻塞的情况,作为同步的接口,这种时间消耗也难让人接受…   事务是做什么...
阅读全文 4

怎么用存储过程来提高事务的并发

07-13 2,429 views

在描述使用存储过程解决事务并发之前,简单描述下上下问。  我做了一个简单积分的对外接口,因为需要做几个表的查询和创建更改,在调用特别频繁的时候...
阅读全文 4

源码分析peewee的异常重试

python 2,638 views
……源码分析peewee的异常重试 … 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新.  http://xiaorui.cc/?p=3520 Peewee 是个好用的orm,我们这边遇到复杂的业务逻辑都会使用orm来减轻我们写sql语句代...
阅读全文 0

源码分析peewee的异常重试

07-05 2,638 views

……源码分析peewee的异常重试 … 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新.  http://xiaorui...
阅读全文 0

开源模块之python函数调用性能统计

python 2,866 views
群里有个人问我最近怎么不活跃了。 问我这话的人,一看就知道工作不饱和。  话说最近有些忙,走了个小弟, 然后各种开发迭代在后面排着,这堆任务够我跟小弟忙一段时间了。  公司缺高级水平的python程序员, 有兴趣的朋友可以跟我联系。  该文章...
阅读全文 0

开源模块之python函数调用性能统计

06-28 2,866 views

群里有个人问我最近怎么不活跃了。 问我这话的人,一看就知道工作不饱和。  话说最近有些忙,走了个小弟, 然后各种开发迭代在后面排着,这堆任务够我...
阅读全文 0

技术分享之《cdn的设计原理及架构》

python,技术分享,运维 3,441 views
      这次公司大队人马去乌镇庆祝十周年,过程结果都很happy,抽奖还中了人民币,这运气没的说呀。 在乌镇西栅的小河边,我们量子团队一边聊MM,一边聊cdn的东西,很是happy。 同事们都是纯开发出身,对于运维的基础架构没有深入了解过。 在同事的...
阅读全文 6

技术分享之《cdn的设计原理及架构》

06-21 3,441 views

      这次公司大队人马去乌镇庆祝十周年,过程结果都很happy,抽奖还中了人民币,这运气没的说呀。 在乌镇西栅的小河边,我们量子团队一边...
阅读全文 6

使用python封装sd_notify到systemd

python 2,614 views
        我们知道Centos7之后搁浅Sysvinit,改用复杂功能又及其强大,又特别惹人烦恼的systemd.  这个名字取得很大气,直接用system + d .   Sysvint从unix时期就已经早早的存在了,在各大国外的社区都很不少大牛针对init 和 system...
阅读全文 0

使用python封装sd_notify到systemd

06-16 2,614 views

        我们知道Centos7之后搁浅Sysvinit,改用复杂功能又及其强大,又特别惹人烦恼的systemd.  这个名字取得很大气,直接用sys...
阅读全文 0

技术分享 《大话redis设计实现》

python,技术分享 3,023 views
        这次又给朋友公司 (Naver) 做了一次技术分享,主题是《大话redis设计实现》 ,  里面的内容来自 学习《redis设计与实现》 和 阅读redis源码的心得。   话说, 我用redis的历史也有些时间了, 应该有4、5 年了。  运维方面...
阅读全文 1

技术分享 《大话redis设计实现》

06-11 3,023 views

        这次又给朋友公司 (Naver) 做了一次技术分享,主题是《大话redis设计实现》 ,  里面的内容来自 学习《redis设计与实现》...
阅读全文 1

聊聊threading的condition条件变量

python 2,897 views
     Python下有很多的Lock锁,比如Mutex,Rlock,semaphore…  这些都是比较常用的Lock锁。  然而很多时候我们都忘记threading下还有一个叫做condition的条件变量。   condition内部是含有锁的逻辑,不然也没法保证线程之间的...
阅读全文 0

聊聊threading的condition条件变量

05-31 2,897 views

     Python下有很多的Lock锁,比如Mutex,Rlock,semaphore…  这些都是比较常用的Lock锁。  然而很多时候我们都忘记threa...
阅读全文 0