请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

关于数据写入的etcd http api文档解释[python]

DB,etcd,python 8,555 views
上手在github提交了python gevent etcd的非阻塞模块。 正好这两天寂寞的很,打算再重写下etcd 输入更改数据这块的逻辑。 搜相关文档的时候,发现很多资料对于etcd http api写入数据描述,很是模糊片面,愣是没找到像样点的代码样式。正好趁着有时间,就把这方面的资料给补全下。或许对大家有些用处。  ...
阅读全文 1

关于数据写入的etcd http api文档解释[python]

10-14 8,555 views

上手在github提交了python gevent etcd的非阻塞模块。 正好这两天寂寞的很,打算再重写下etcd 输入更改数据这块的逻辑。 搜相关文档的时候,发现...
阅读全文 1

在centos下打造基于python的vim开发环境

python 6,285 views
下面是vim的效果图: 这是我自己精简后的python vim开发包环境, 已经推到github中。目的是自己部署开发环境的时候,更加的方便。  那么其实还有更加丰富的功能,但只会让vim速度变得很慢,不信你可以试试 !  所以我要说的是,并不是插件越多越好,而是越精简越好,把不用的插件都在.vimrc中...
阅读全文 3

在centos下打造基于python的vim开发环境

10-13 6,285 views

下面是vim的效果图: 这是我自己精简后的python vim开发包环境, 已经推到github中。目的是自己部署开发环境的时候,更加的方便。  那么...
阅读全文 3

用gevent开发非阻塞的etcd python客户端模块

DB,etcd,python 7,004 views
起因,我这边有个服务端,是专门控制服务发现和注册功能,任务的调度都是用gevent来实现,如果直接在gevent里使用python-etcd,会发生阻塞的,gevent对于那些网络模块很是敏感。 我不打算在任务调度器里面用多线程,所以我直接自己重写个支持gevent的python etcd模块。  (python-etcd是用urllib2开发的...
阅读全文 1

用gevent开发非阻塞的etcd python客户端模块

10-12 7,004 views

起因,我这边有个服务端,是专门控制服务发现和注册功能,任务的调度都是用gevent来实现,如果直接在gevent里使用python-etcd,会发生阻塞的,gevent对于那...
阅读全文 1

聊聊python的轻量级orm peewee及对比SQLAlchemy

python 9,527 views
其实我是打算自己写个简单的python mysql orm数据库模型,虽然基本功能都实现了,但是bug也不少….   还有这两天正在忙电商数据的导入,因为字段实在太多, 如果用mysqldb、pymysql来操作的话,实在是有些繁琐呀,咱们也不能 insert into xiaorui (col1,col2)values(a,b) ….  关于pee...
阅读全文 0

聊聊python的轻量级orm peewee及对比SQLAlchemy

10-09 9,527 views

其实我是打算自己写个简单的python mysql orm数据库模型,虽然基本功能都实现了,但是bug也不少….   还有这两天正在忙电商数据的导入,因为...
阅读全文 0

配置consul的session注册及服务发现功能[python]

python 9,225 views
熟悉我博客的人知道我挺喜欢折腾新东西的,马上就要10 1 放假了,大家都没心思忙工作 !  一堆的需求都让我给他扔到脑后面了。  最近看了一些微信的技术文章分享,有人拿 zookeeper 、etcd、consul做对比,因为我对consul真心不熟悉,所有不好扯皮。  但今天就不同了,花了一下午的时间,把consul api...
阅读全文 1

配置consul的session注册及服务发现功能[python]

9-29 9,225 views

熟悉我博客的人知道我挺喜欢折腾新东西的,马上就要10 1 放假了,大家都没心思忙工作 !  一堆的需求都让我给他扔到脑后面了。  最近看了一些微...
阅读全文 1

python动态导入模块并reload类及函数

python 9,288 views
我又来分享开源模块了,项目名是pyautoreload,这是前段时间写后端服务时用到的模块,我现在独立插取成一个项目,开源出来,希望这模块对大家有些用处… 关于python各种方法导入模块的介绍,如何reload重新加载类及函数原文地址是: http://xiaorui.cc  http://xiaorui.cc/?p=2065 ...
阅读全文 1

python动态导入模块并reload类及函数

9-27 9,288 views

我又来分享开源模块了,项目名是pyautoreload,这是前段时间写后端服务时用到的模块,我现在独立插取成一个项目,开源出来,希望这模块对大家有些用处&...
阅读全文 1

话说Django orm性能为什么比原生的mysqldb慢

python 9,162 views
今天同事反映了一个问题,说后台报表的页面很慢…  我当场就质疑他,肿么可能… 结果试了打开页面看了下,确实很慢.   然后就开始慢慢的排查问题…. 关于django orm性能一般,返回结果慢的问题,博文地址是 http://xiaorui.cc/?p=2048 首先确认下mysql索引问题. ...
阅读全文 3

话说Django orm性能为什么比原生的mysqldb慢

9-24 9,162 views

今天同事反映了一个问题,说后台报表的页面很慢…  我当场就质疑他,肿么可能… 结果试了打开页面看了下,确实很慢.   然后就开始慢慢...
阅读全文 3

使用gevent spawn_later实现定时计划任务系统

python 7,994 views
前段时间用有优先级和线程池做了可控的计划任务模块。正好今还在看gevent wsgi的东西,在想用gevent能不能实现计划任务系统。 看了下gevent的文档,发现他没有现成那样的timer功能,但是有个spawn_later的功能。 spawn_later函数可接收周期时间及运行函数。  简单说,用gevent.spawn_later就可以实现cron...
阅读全文 4

使用gevent spawn_later实现定时计划任务系统

9-22 7,994 views

前段时间用有优先级和线程池做了可控的计划任务模块。正好今还在看gevent wsgi的东西,在想用gevent能不能实现计划任务系统。 看了下gevent的文档,发现他...
阅读全文 4

python elasticsearch高级组合查询及aggs聚合

elasticsearch,python 9,147 views
这两天和小朋友对elasticsearch进行死逼…  主要是纠结,我今天就上两个例子……   如果你的查询较为复杂就直接套用这个格式,shold里面的逻辑都是OR , must_not是非,must是必须要有的。  关于elasticsearch 组合查询和aggs聚合查询。补充更新地址是,http://xiaorui.cc/?p...
阅读全文 1

python elasticsearch高级组合查询及aggs聚合

9-18 9,147 views

这两天和小朋友对elasticsearch进行死逼…  主要是纠结,我今天就上两个例子……   如果你的查询较为复杂就直接套用这个...
阅读全文 1

python使用fcntl管理pidfile多进程文件锁

python 8,256 views
最近在折腾服务端,后端启动的时候,常常会遇到一个问题,由于启动方式不是通过标准的/etc/init.d/monitor start 启动的,是export PYTHONPATH=pwd;python monitor.py启动的。后期发现居然启动了N个进程。   这问题好解决,进程的启动关闭都需要统一入口,统一配置文件就可以了。  但是如果你的程序是被OOM...
阅读全文 3

python使用fcntl管理pidfile多进程文件锁

9-17 8,256 views

最近在折腾服务端,后端启动的时候,常常会遇到一个问题,由于启动方式不是通过标准的/etc/init.d/monitor start 启动的,是export PYTHONPATH=pwd;python ...
阅读全文 3

大数据公司招聘高级python程序员

文艺 22,402 views
招人,招人,招人,重要的事情说三遍 !!! 招聘的公司是Admaster,也就是我现在的公司 ,中文名字叫 精硕科技,至于公司的详细资料大家自己搜吧。简单说,就是做大数据相关的公司。 我们部门人虽然不多,但都『精英』,同样是年轻人,气氛很Happy,技术交流上也很和谐,包括跟PM PK的时候。 为了...
阅读全文 22

大数据公司招聘高级python程序员

9-14 22,402 views

招人,招人,招人,重要的事情说三遍 !!! 招聘的公司是Admaster,也就是我现在的公司 ,中文名字叫 精硕科技,至于公司的详细资料大家自己搜吧...
阅读全文 22

开源项目之python使用etcd构造分布式互斥锁

DB,etcd,python 8,233 views
    前几天跟朋友聊了下分布式互斥锁的事,我以前用过redis和zookeeper做分布式的互斥锁,但那哥们的场景下已经用了etcd,不再想引入其他的服务。 其实etcd本身也可以做成分布式互斥锁的。在coreos关于etcd文章的介绍里,就标记出etcd适合做分布式锁的特性…      在我想来,多...
阅读全文 3

开源项目之python使用etcd构造分布式互斥锁

9-13 8,233 views

    前几天跟朋友聊了下分布式互斥锁的事,我以前用过redis和zookeeper做分布式的互斥锁,但那哥们的场景下已经用了etcd,不再想引入其他的服务...
阅读全文 3

使用etcd watch做服务发现监控时遇到的坑

DB,python 11,522 views
最近在公司折腾业务数据监控的事,听上面的意思,要把这监控做成部门的数据监控平台,接入各种各样的数据流监控,一听这目标,霎时间就不想继续开发了… 以前参与开发过基础的监控系统,那也是个巨坑的玩意,自从被伤过后,我有些抵触监控这玩意了…   不扯了,世界是美好的,我要心情好好的…. ...
阅读全文 8

使用etcd watch做服务发现监控时遇到的坑

9-11 11,522 views

最近在公司折腾业务数据监控的事,听上面的意思,要把这监控做成部门的数据监控平台,接入各种各样的数据流监控,一听这目标,霎时间就不想继续开发了̷...
阅读全文 8

高薪招聘Devops web 运维开发工程师

文艺 6,234 views
朋友招人,有兴趣的朋友可以瞅瞅 ~   美的总部(佛山顺德北滘) 招聘一名Devops web 开发工程师 要求: 熟悉Python和各种常用模块,以及必须熟悉其中一个web框架(  Django、tornado、flask ),前端方面会简单的bootstrap,jquery 就够了。 主要做web的自动化运维平台,界面要求不高。了解基本...
阅读全文 6

高薪招聘Devops web 运维开发工程师

9-10 6,234 views

朋友招人,有兴趣的朋友可以瞅瞅 ~   美的总部(佛山顺德北滘) 招聘一名Devops web 开发工程师 要求: 熟悉Python和各种常用模块,以及...
阅读全文 6

开源项目之使用dburi解析uri形式的数据库地址

python 5,673 views
我为什么会开发这个模块? 在java下很多数据的连接方式都是直接用uri的方式,但是在pyhton下反而少之又少,虽然各个python数据库模块支持这个。       我在社区问过不少python的大牛,他们对于数据库连接地址有不同的规范,有人喜欢直接用 db_host=xxx \n db_port=3306来表示,也有人跟...
阅读全文 0

开源项目之使用dburi解析uri形式的数据库地址

9-09 5,673 views

我为什么会开发这个模块? 在java下很多数据的连接方式都是直接用uri的方式,但是在pyhton下反而少之又少,虽然各个python数据库模块支持这个。  ...
阅读全文 0

封装subprocess的超时_非阻塞_实时输出等功能

python 6,075 views
      上周去三亚度假,玩的还行,价格也还行,如果你是临时起意去旅游的话,可以选择途牛自助,如果是长线计划,那么强烈推荐你用去哪儿+美团+大众的方案,巨靠谱 ! 在三亚这几天,一直在海边寻找比基尼,过程中被晒伤了,回北京浑身特么的痒痒….  睡不着,就写了个基于subprocess的封装...
阅读全文 1

封装subprocess的超时_非阻塞_实时输出等功能

9-08 6,075 views

      上周去三亚度假,玩的还行,价格也还行,如果你是临时起意去旅游的话,可以选择途牛自助,如果是长线计划,那么强烈推荐你用去哪儿+...
阅读全文 1

使用python校验验证表单数据格式及准确性

python 6,090 views
这两天工作中,遇到了重复性验证表单和任务队列数据格式的问题,然后晚上用python写了个验证数据格式的模块,名字叫 validfilter 。 他除了可以验证表单外,还可以验证各种各种工的数据,dict,tunple,list 都可以递归性的验证,在github也有不少人分享了代码,但是功能比较的简单,只是验证整数、字符串,我这边扩展...
阅读全文 0

使用python校验验证表单数据格式及准确性

8-31 6,090 views

这两天工作中,遇到了重复性验证表单和任务队列数据格式的问题,然后晚上用python写了个验证数据格式的模块,名字叫 validfilter 。 他除了可以验证表单外...
阅读全文 0

python魔法函数中的描述器Descriptor

python 6,054 views
今天在整理以前代码的时候,发现了一个tornade写的rpc服务,看到里面用了很多的描述器,说实话,3年前的代码咋实现的,我居然也我忘了。。。。看来有必要从头再整理下了。 python的魔法函数。 长话短说,什么是描述器? 当一个物件拥有__get__()方法(必要),以及选择性的__set__()、__delete__()方法时,它可以作...
阅读全文 0

python魔法函数中的描述器Descriptor

8-30 6,054 views

今天在整理以前代码的时候,发现了一个tornade写的rpc服务,看到里面用了很多的描述器,说实话,3年前的代码咋实现的,我居然也我忘了。。。。看来有必要从...
阅读全文 0

支持key过期失效和限制字典大小的开源项目 [python expire max length]

python 6,685 views
起因:      最近在写业务数据监控,既然是监控,那肯定是有不同时间区间的监控动作,放在linux下的crontab有些不合适了,因为有不同的函数要触犯,我不能为这堆函数定制一堆main()吧。用一些开源的计划任务工具,不是很让人满意。 在社区找了一些不靠谱的模块,我是个纠结的人,特别喜欢看别人的实...
阅读全文 3

支持key过期失效和限制字典大小的开源项目 [python expire max length]

8-28 6,685 views

起因:      最近在写业务数据监控,既然是监控,那肯定是有不同时间区间的监控动作,放在linux下的crontab有些不合适了,因为有不同的...
阅读全文 3

在tornado http代理服务上加入基本认证[basic auth]

python,tornado 8,872 views
起因 这两天在用tornado实现一个http代理,属于正向代理,同步的方式调用。  对于我这的应用场景是爬虫的代理,这代理服务会发布在各个公网云主机上。 但是放到公网就会遇到安全的问题,我想大家的web服务,经常会受到别人的嗅探包,主要是http proxy的方式,他这是撞代理。  对于安全,我这边不仅用了黑...
阅读全文 1

在tornado http代理服务上加入基本认证[basic auth]

8-26 8,872 views

起因 这两天在用tornado实现一个http代理,属于正向代理,同步的方式调用。  对于我这的应用场景是爬虫的代理,这代理服务会发布在各个公网云主机...
阅读全文 1

使用python实现高性能代理服务器 [tornado proxy]

python 12,699 views
今天跟大家聊下用python实现http代理那些事,首先先描述下他的应用场景,http代理也是正向代理,对于客户端来说,我只需要指定个proxy_server 就可以代理获取数据了。   至于场景,我这有两个场景会有帮助…. 第一个是爬虫代理,我可以在N个公网vps上,部署toproxy http 代理,然后我的主调度器只需要加入pr...
阅读全文 10

使用python实现高性能代理服务器 [tornado proxy]

8-21 12,699 views

今天跟大家聊下用python实现http代理那些事,首先先描述下他的应用场景,http代理也是正向代理,对于客户端来说,我只需要指定个proxy_server 就可以代理获...
阅读全文 10