请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

python的enum枚举数据类型的实现

python 6,144 views
    枚举类型最大的优点直观, 省事.  举个常用的例子,你要表示星期1-7,你可以用int1-7,但是当你把它作为参数的时候,有时后你就给考虑传入0,8的情况.而且用数字表示还需要相应的注释和文档. 这个时候你定义个一个枚举CreateDate,名字就叫字面就叫Monday , Tuesday ,….就行,直观,并且值可控. ...
阅读全文 0

python的enum枚举数据类型的实现

1-05 6,144 views

    枚举类型最大的优点直观, 省事.  举个常用的例子,你要表示星期1-7,你可以用int1-7,但是当你把它作为参数的时候,有时后你就给考虑传入0,...
阅读全文 0

用python实现数据格式转换模块[json,yaml,csv]

python 7,090 views
    元旦的时候回青岛了,原本是打算去海边散散心,看看那清净的大海陶冶哥的情操. 世事难料,青岛也是重污染,特么的.    这几天没事干,就陪着小孩玩,顺手写了一个小工具,用来转换常见的数据格式的,里面用了python的黑魔法. 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请...
阅读全文 1

用python实现数据格式转换模块[json,yaml,csv]

1-04 7,090 views

    元旦的时候回青岛了,原本是打算去海边散散心,看看那清净的大海陶冶哥的情操. 世事难料,青岛也是重污染,特么的.    这几天没事...
阅读全文 1

再次理解tcp关闭连接出现time_wait的情况

运维 6,333 views
作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外我负责的电商数据抓取也会有大量的time_wait的情况.  在我接触的场景下,web服务器和主动发起请求的爬虫服务都会造成大量的time_wait情况. 文章写的...
阅读全文 2

再次理解tcp关闭连接出现time_wait的情况

12-29 6,333 views

作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外...
阅读全文 2

阿里云和linode新加坡节点网络速度稳定性测试

运维 8,596 views
    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的.    说正题,我的好朋友以前用过阿里云新加坡节点的,为什么说以前? 后来替换成vultr.   我自己是用过linode新加坡节点的,用了大约有半年的时...
阅读全文 2

阿里云和linode新加坡节点网络速度稳定性测试

12-28 8,596 views

    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的. &n...
阅读全文 2

实现简单的python计时统计功能模块

python 5,583 views
文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新.  http://xiaorui.cc/2015/12/26/%E5%AE%9E%E7%8E%B0%E7%AE%80%E5%8D%95%E7%9A%84python%E8%AE%A1%E6%97%B6%E7%BB%9F%E8%AE%A1%E5%8A%9F%E8%83%BD%E6%A8%A1%E5%9D%97/ 正题:      我们经常会有统计pyth...
阅读全文 0

实现简单的python计时统计功能模块

12-26 5,583 views

文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新.  http://xiaorui.cc/2015/12/26/%E5%AE%9E%E7%8E%B0%E7%AE%80%E5%8...
阅读全文 0

通过logstash filter过滤屏蔽不需要的日志

运维 11,183 views
今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(包括垃圾日志) .   但为了精简数据需要logstash agent做日志的过滤,也就是说过滤掉不需要的日志.  文章写的不是很严谨,欢迎来喷,另外该文...
阅读全文 1

通过logstash filter过滤屏蔽不需要的日志

12-24 11,183 views

今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(...
阅读全文 1

多进程下用requests访问http api时遇到的坑

python 11,327 views
简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以为这些操作基本是网络io的操作,用多线程是没有问题. 但是通过这几天的观察速度还真是有些慢,每小时才50w的数据 (另外产品狗催我..  mysql-es导出服务速度...
阅读全文 0

多进程下用requests访问http api时遇到的坑

12-22 11,327 views

简单描述下场景,我这边开发了一个服务是用来把Mysql的数据取出来,并进行分词及正负面操作后再导出到elasticsearch里面。  其实是多线程开发的,原本以...
阅读全文 0

python supervisor管理进程时遇到的问题

python,运维 8,075 views
记得第一次用supervisor的时候,这supervisor还毫无名气….  陆续用了他好几年,后来哥们自己搞了一个简易的supervisor,https://github.com/rfyiamcool/ArbiterHandler 废话不多说. 说说今天这事吧,本来是打算通过supervisord启动程序的时候, 出现 interrupted system call socket 的问题, 具...
阅读全文 0

python supervisor管理进程时遇到的问题

12-21 8,075 views

记得第一次用supervisor的时候,这supervisor还毫无名气….  陆续用了他好几年,后来哥们自己搞了一个简易的supervisor,https://github.com/rfyia...
阅读全文 0

我在公司内部关于高可用集群的分享

技术分享,运维 5,017 views
今天在我们组内做了一次分享,是关于高可用集群管理的主题. 期初我是想分享下etcd服务发现的,但发现这东西本来就小而精的东西,没什么讲的. 就打算换个话题分享下. 同事们知道我曾经在几个大厂做过运维,想知道现在各大互联网集群架构是什么样子?于是乎,主题就变成这样了. 当然集群没这么简单,这次就通过运维的视...
阅读全文 0

我在公司内部关于高可用集群的分享

12-18 5,017 views

今天在我们组内做了一次分享,是关于高可用集群管理的主题. 期初我是想分享下etcd服务发现的,但发现这东西本来就小而精的东西,没什么讲的. 就打算换个话题...
阅读全文 0

elasticsearch如何修改mapping和template的方法

DB,elasticsearch 9,444 views
题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,就走自定义的mapping. mapping相当于字段描述,比如某个字段是float,某个字段需要分词,某个字段是date类型,是否可以搜索 template,字面意思是模板,他所作的...
阅读全文 2

elasticsearch如何修改mapping和template的方法

12-17 9,444 views

题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,...
阅读全文 2

python rq的定时及计划任务(delay)实现

python 7,943 views
前言: python rq是个不错的任务队列服务,就因为他小而精,所有在一定程度上比celery都要受到欢迎。 最近有个需求让我不得不想喷他,他没有定时执行的功能,很多时候我并不想直接就执行执行。 起初有个简单的想法,想把任务丢给处理函数后,一直在sleep,直到任务可以执行。 关于rq的定时计划任务写得不怎么严...
阅读全文 1

python rq的定时及计划任务(delay)实现

12-15 7,943 views

前言: python rq是个不错的任务队列服务,就因为他小而精,所有在一定程度上比celery都要受到欢迎。 最近有个需求让我不得不想喷他,他没有定时执行的功能...
阅读全文 1

使用python实现redis的ack(commit)确认机制

python 6,846 views
题外,因为抢火车票的原因,颇有些年味的感觉。值得庆幸的是成功的购票。  正题,跟朋友聊起现在的消息队列,虽然现在的消息队列服务端繁多,但因为业务的原因,往往就那几个选择。 要安全和功能? rabbitmq ,但他的性能确实一般。 zeromq性能是好,但他更偏向于tcp组件。kafka适合大吞吐的消息队列。 据...
阅读全文 0

使用python实现redis的ack(commit)确认机制

12-11 6,846 views

题外,因为抢火车票的原因,颇有些年味的感觉。值得庆幸的是成功的购票。  正题,跟朋友聊起现在的消息队列,虽然现在的消息队列服务端繁多,...
阅读全文 0

纠结Kibana4的时区timezone配置问题

elasticsearch,运维 10,518 views
今天聊聊,我是如何被Kibana时区timezone问题搞得没脾气的… 前段时间跟大家聊过,我们开始使用metrices + kibana + elasticesarch集群的组合构建应用级性能监控,数据在es里面可以轻松的使用kibana画各种图表。 文章写的不是太严谨,后期会不断更新修改补充该文章,标注下原文地址: http:...
阅读全文 3

纠结Kibana4的时区timezone配置问题

12-09 10,518 views

今天聊聊,我是如何被Kibana时区timezone问题搞得没脾气的… 前段时间跟大家聊过,我们开始使用metrices + kibana + elasticesarch集群的组合构...
阅读全文 3

关于Percona tokudb引擎的主从复制同步文档

DB 6,384 views
mysql的tokudb引擎可以解决数据库占用硬盘空间大的问题,虽然舍弃了部分的读写应能,但因为我们的myql磁盘都是ssd的,所以这都不是事。 tokudb有几个压缩比率,我们这边2.8个T的innodb,换用tokudb压缩db后才350G左右。 文章写的不是太严谨,后期会不断更新修改补充该文章,标注下原文地址: http://xiaorui.cc/?p=24...
阅读全文 0

关于Percona tokudb引擎的主从复制同步文档

12-07 6,384 views

mysql的tokudb引擎可以解决数据库占用硬盘空间大的问题,虽然舍弃了部分的读写应能,但因为我们的myql磁盘都是ssd的,所以这都不是事。 tokudb有几个压缩比率,...
阅读全文 0

通过python metrics计算应用性能指标

python 5,853 views
前言:      最近公司在折腾应用级别的性能监控,现在已经有C、Java的版本了。 貌似还缺少我们组专用的Python版本。 现在做Metrics的公司有OneApm,就在我们的楼上。  oneapm的各种计算统计的api和dashboard面板虽然很好用,毕竟还是需要付费的。 今天就说下,我们是如何在python下获取metrics...
阅读全文 0

通过python metrics计算应用性能指标

12-04 5,853 views

前言:      最近公司在折腾应用级别的性能监控,现在已经有C、Java的版本了。 貌似还缺少我们组专用的Python版本。 现在做Metrics的公司...
阅读全文 0

使用socket so_reuseport提高服务端性能

python,运维 11,582 views
以前就在国外的论坛接触过SO_REUSEPORT,这两天朋友群又在传播nginx 1.9 reuseport多进程监听参数。那咱们简单说下SO_REUSEPORT的应用场景, 为什么会用他? 然而在讲解SO_REUSEPORT之前,需要先说下我们常用的网络模型。 文章写得不太严谨, 请砖家拍砖,另外标注下原文地址,  http://xiaorui.cc/...
阅读全文 3

使用socket so_reuseport提高服务端性能

12-02 11,582 views

以前就在国外的论坛接触过SO_REUSEPORT,这两天朋友群又在传播nginx 1.9 reuseport多进程监听参数。那咱们简单说下SO_REUSEPORT的应用场景, 为什么...
阅读全文 3

使用python fcntl实现本地文件互斥锁

python 5,858 views
文件互斥锁是什么?  他的应用场景又是什么?  这是我前段是开发的一个模块,主要用途是避免了多个程序多个进程需要数据安全.  可能场景我没有描述清楚,简单描述就是,解决多进程下需要的互斥锁的场景.. 对于互斥锁,我开发的,提交过的项目代码已经够多了,比如redis分布式锁,etcd分布式锁,但是就...
阅读全文 0

使用python fcntl实现本地文件互斥锁

11-29 5,858 views

文件互斥锁是什么?  他的应用场景又是什么?  这是我前段是开发的一个模块,主要用途是避免了多个程序多个进程需要数据安全.  可能场景我...
阅读全文 0

阅读gunicorn源代码理解worker工作流程

python 5,704 views
python的gunicorn我想大家都知道,他是个能快速让web程序支持多并发的模块…  我想大家对于gunicorn不是很了解,这边就简单的说下gunicorn的工作流程… 其实实现gunicorn本身那套东西不太难,但是理解gunicorn那套东西,尤其是看懂其代码,那真是很不容易…   我现在也就紧紧看了他的主要的...
阅读全文 0

阅读gunicorn源代码理解worker工作流程

11-29 5,704 views

python的gunicorn我想大家都知道,他是个能快速让web程序支持多并发的模块…  我想大家对于gunicorn不是很了解,这边就简单的说下gunicorn的工作...
阅读全文 0

使用redis实现分布式的函数调用限频

python 9,343 views
前言,什么是函数限制频率? 控频的应用场景又是什么?  在python下控频可以理解为函数的调用频率,原因可能因为多方面. 频率一般是一定时间内,调用的次数,如果超过我们规定的次数,或者报错,或者堵塞接口。 那他的应用场景又是什么?  比如同事写了一个支持socks级别的tcp代理,因为写的很粗糙,我们这边用...
阅读全文 0

使用redis实现分布式的函数调用限频

11-27 9,343 views

前言,什么是函数限制频率? 控频的应用场景又是什么?  在python下控频可以理解为函数的调用频率,原因可能因为多方面. 频率一般是一定时间内,调用的次...
阅读全文 0

描述python实现读写锁rwlock及场景

python 6,594 views
读写锁比mutex有更高的适用性,可以多个线程同时占用读模式的读写锁,但是只能一个线程占用写模式的读写锁; 1,当读写锁是写加锁状态时, 在这个锁被解锁之前, 所有试图对这个锁加锁的线程都会被阻塞. 2,当读写锁在读加锁状态时, 所有试图以读模式对它进行加锁的线程都可以得到访问权,但是以写模式对它进行枷锁的线程...
阅读全文 0

描述python实现读写锁rwlock及场景

11-26 6,594 views

读写锁比mutex有更高的适用性,可以多个线程同时占用读模式的读写锁,但是只能一个线程占用写模式的读写锁; 1,当读写锁是写加锁状态时, 在这个锁被解锁之...
阅读全文 0

Elasticsearch关于nested结构query和filter查询语法

DB,elasticsearch 7,887 views
什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的,要提前定义mapping . 文章有些地方写的不严谨,后期会更新, 请查看原文链接   http://xiaorui.cc/?p=2376 下面是一个nested的数...
阅读全文 1

Elasticsearch关于nested结构query和filter查询语法

11-25 7,887 views

什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的...
阅读全文 1