请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

mysql从innodb到tokudb引擎时遇到的问题

运维 6,935 views
     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库里面有几个表都已经达到800G+了, 这可不是个好现象,所以我考虑把这些innodb的大表全部改成Tokudb的引擎,这样就可以省下不少的空间。       ...
阅读全文 1

mysql从innodb到tokudb引擎时遇到的问题

2-02 6,935 views

     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库...
阅读全文 1

探讨elasticsearch tribe跨机房日志收集的实现

elasticsearch,运维 7,259 views
这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? 但这也是个好问题. 对于全网的应用日志收集,我想做过运维的朋友都了解的.  不外乎就那么几种方案,ELK, Flume, Scribe ,flutend, 自主开发的。 &nb...
阅读全文 5

探讨elasticsearch tribe跨机房日志收集的实现

2-01 7,259 views

这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? ...
阅读全文 5

使用__getitem__魔法函数实现多层嵌套字典dict

python 6,067 views
主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"xiaorui.cc"} In [16]: data['blog'] Out[16]: 'xiaorui.cc' In [17]: data['at'] -----------------------------------------------------------------...
阅读全文 0

使用__getitem__魔法函数实现多层嵌套字典dict

1-31 6,067 views

主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

python 5,460 views
《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考虑使用zlib进行压缩,但是json针对zlib的数据序列化时会报错. 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

1-26 5,460 views

《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考...
阅读全文 0

分析requests源码解决headers无法json问题

python 6,320 views
今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量耦合调用他们的rest api,又为了kpi稳定的推进.  哥直接用tornado自己写一套完整的mock server…   文章写的不是很严谨,欢迎来喷,另外该文...
阅读全文 0

分析requests源码解决headers无法json问题

1-25 6,320 views

今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量...
阅读全文 0

基于python的json web tokens(jwt)加密认证实现

python 8,246 views
《使用python来实现json web tokens加密协议》 这两天是北京很冷,远在南方的广东都在下雪,这个冷可想而知了…   正体开始,我自己在尝试写一个单点登录的小系统,里面权限控制有用到jwt (json web tokens)安全策略,对于jwt,我以前专门写过一篇文章来描述他是怎么一回事, 有兴趣的朋友再瞅瞅.   ...
阅读全文 0

基于python的json web tokens(jwt)加密认证实现

1-24 8,246 views

《使用python来实现json web tokens加密协议》 这两天是北京很冷,远在南方的广东都在下雪,这个冷可想而知了…   正体开始,我自己在尝试写...
阅读全文 0

Mac下安装MySQL-python模块时遇到的问题

运维 7,249 views
一个关于在mac下的python MySQLdb安装笔记,在mac下安装一些python 模块的方法有些形式上的差异. 比如python MySQLdb是需要装mysql-devel.  我Mac的Mysql server是直接dmg安装的。 所有不需要考虑太多的东西.   文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http:/...
阅读全文 0

Mac下安装MySQL-python模块时遇到的问题

1-22 7,249 views

一个关于在mac下的python MySQLdb安装笔记,在mac下安装一些python 模块的方法有些形式上的差异. 比如python MySQLdb是需要装mysql-devel.  我Mac的M...
阅读全文 0

mac下安装Mysql5.7遇到默认密码的大坑

运维 13,653 views
我本身是有丰富的centos下Mysql5.7的安装经验的,也有mac下使用brew安装5.6的经验,但没在mac下装过5.7这高版本经验…   文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/20/mac%E4%B8%8B%E5%AE%89%E8%A3%85mysql5-7%E9%81%87%E5%88%B0%...
阅读全文 12

mac下安装Mysql5.7遇到默认密码的大坑

1-20 13,653 views

我本身是有丰富的centos下Mysql5.7的安装经验的,也有mac下使用brew安装5.6的经验,但没在mac下装过5.7这高版本经验…   文章写的不是很...
阅读全文 12

源码分析Tornado PeriodicCallback Crontab定时任务实现

python 7,748 views
记得写过一篇文章介绍了常见的定时任务实现方法,有sched,APScheduler, tornado等. 有兴趣的朋友可以找找.  文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/20/%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90tornado-periodiccallback-crontab%E5%AE%9...
阅读全文 0

源码分析Tornado PeriodicCallback Crontab定时任务实现

1-20 7,748 views

记得写过一篇文章介绍了常见的定时任务实现方法,有sched,APScheduler, tornado等. 有兴趣的朋友可以找找.  文章写的不是很严谨,欢迎来喷,另...
阅读全文 0

用multiprocessing.reduction解决多进程传递文件描述符

python 6,165 views
使用multiprocessing.reduction解决多进程传递文件描述符的问题 最近还真的是跟multiprocessing干上了,原本习惯使用os.fork的我,现在也开始被迫还是研究多进程multiprocessing带来的问题. 对于复杂的进程调度,我不太喜欢用multiprocessing,因为他封装过度,导致遇到问题就傻逼的看multiprocessing的源码.  ...
阅读全文 0

用multiprocessing.reduction解决多进程传递文件描述符

1-19 6,165 views

使用multiprocessing.reduction解决多进程传递文件描述符的问题 最近还真的是跟multiprocessing干上了,原本习惯使用os.fork的我,现在也开始被迫还是研究多...
阅读全文 0

python multiprocessing遇到Can’t pickle instancemethod问题

python 6,578 views
遇到一个坑,Can’t pickle instancemethod … 前言:     今天写了一个小脚本,因为涉及到cpu运算的事件,所以用了多进程.  因为大量复用了以前的类,就遇到了奇怪的问题。 我这里就不暴露我的业务代码,临时写了个小demo供大家测试下。  文章写的不是很严谨,欢迎来喷,...
阅读全文 0

python multiprocessing遇到Can’t pickle instancemethod问题

1-18 6,578 views

遇到一个坑,Can’t pickle instancemethod … 前言:     今天写了一个小脚本,因为涉及到cpu运算的事件,所以用了多进程. ...
阅读全文 0

python下multiprocessing和gevent的组合使用

python 8,705 views
对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协程也是线程的一种,只是io调度上自己说了算而已。  那么如何使用多个cpu核心? 可以利用多进程mutliprocessing来进行多核并行工作,在多进程里面使用geve...
阅读全文 1

python下multiprocessing和gevent的组合使用

1-17 8,705 views

对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式.   Python的多线程受制于GIL全局锁的特性,Gevent身为协...
阅读全文 1

关于tornado ThreadPoolExecutor(threadpool)线程池的实现

python 7,452 views
腾讯的同事问我关于tornado线程池的事,正好趁着这个机会写一篇关于tornado的threadpool线程池异步工作模式实现. 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/14/%E5%85%B3%E4%BA%8Etornado-threadpoolexecutorthreadpool%E7%BA%BF%E7%A8...
阅读全文 0

关于tornado ThreadPoolExecutor(threadpool)线程池的实现

1-14 7,452 views

腾讯的同事问我关于tornado线程池的事,正好趁着这个机会写一篇关于tornado的threadpool线程池异步工作模式实现. 文章写的不是很严谨,欢迎来...
阅读全文 0

论mac使用sed修改文件的正确姿势

运维 7,397 views
业务变得复杂了,相关的代码目录也需要修改名字。 以前都是直接在centos开发机进行开发,所以没有遇到sed的问题。 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。http://xiaorui.cc/2016/01/14/%E8%AE%BAmac%E4%BD%BF%E7%94%A8sed%E4%BF%AE%E6%94%B9%E6%96%87%E4%BB%B6%E7%9A%84%E6...
阅读全文 0

论mac使用sed修改文件的正确姿势

1-14 7,397 views

业务变得复杂了,相关的代码目录也需要修改名字。 以前都是直接在centos开发机进行开发,所以没有遇到sed的问题。 文章写的不是很严谨,欢迎来喷,另外...
阅读全文 0

由于未加载tokudb引起造成Mysql主从同步失败

DB,运维 6,234 views
聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做主从切换调换我都要欲仙欲死.  原本事不大,但每个库都要几个T大小. 今天原计划打算在程序里面做数据库主从读写分离,但发现他们的数据差异太大。 登上去...
阅读全文 1

由于未加载tokudb引起造成Mysql主从同步失败

1-13 6,234 views

聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做...
阅读全文 1

使用vim nerdcommenter插件快速注释代码

运维 7,678 views
     我习惯用VIM来写代码,不怎么喜欢IDE。 不喜欢IDE的原因有很多,我习惯直接连接开发机用vim开发. 我们组10个人,除了同事张磊大哥(newlife)是用emas,剩下人都是用vim…  废话少说,这两天因为要把上海部门的电商分析系统从grovvy重构成python的版本。 中间会大量的copy grovvy,然后...
阅读全文 2

使用vim nerdcommenter插件快速注释代码

1-12 7,678 views

     我习惯用VIM来写代码,不怎么喜欢IDE。 不喜欢IDE的原因有很多,我习惯直接连接开发机用vim开发. 我们组10个人,除了同事张磊大哥(ne...
阅读全文 2

分享下日志里的Google镜像站点

运维 5,513 views
这两天本来要统计下博客的refer域名,结果发现有大量的google镜像站点.   主要是通过博客的nginx日志抽取出的google镜像站点.   自己在美国linode节点搭建的ss,最近不太稳定,暂时没有多余的ss服务器.    这些镜像站点还算稳定,速度也不错.   https://g.jikewenku.cn/ http://g...
阅读全文 3

分享下日志里的Google镜像站点

1-11 5,513 views

这两天本来要统计下博客的refer域名,结果发现有大量的google镜像站点.   主要是通过博客的nginx日志抽取出的google镜像站点.   自己在美国linod...
阅读全文 3

源码分析python apscheduler的实现

python 6,824 views
今天的话题是,源码分析python apscheduler计划任务的实现.  不知道为什么总是跟计划任务较真,自己一些实现了一个分布式的定时任务系统,也在博客中做过分享,但还是很喜欢看看别人是怎么写的,有什么可以借鉴的。  新版的apscheduler 3.1.x有些太杂乱了,在3.x版本里面加了各种的运行模式,比如gevent,多...
阅读全文 0

源码分析python apscheduler的实现

1-10 6,824 views

今天的话题是,源码分析python apscheduler计划任务的实现.  不知道为什么总是跟计划任务较真,自己一些实现了一个分布式的定时任务系统,也在博客中做...
阅读全文 0

从kibana迁移到grafana作为elasticsearch的前端展现

elasticsearch,运维 14,799 views
今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷. 最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志.  后来由于业务方面的原因,现在各个业务的多数模块也选择依赖elasticsea...
阅读全文 14

从kibana迁移到grafana作为elasticsearch的前端展现

1-07 14,799 views

今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷....
阅读全文 14

解决python elasticsearch的TransportError异常问题

elasticsearch,python 8,877 views
解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsearch数据延迟的微信报警。 通过看日志得知consumer进程异常了, ps aux f看了下进程状态貌似是正常.  我们可以确定了41577 是主进程,剩下的都是由41577 spaw...
阅读全文 0

解决python elasticsearch的TransportError异常问题

1-06 8,877 views

解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsea...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

docker,elasticsearch,运维 7,154 views
      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前段时间我们遇到了个问题, 是由于docker容器最大文件打开数配置太小引起的,其实我们在linux本机已经配置了/etc/security/limits.conf .  具体问题及解决方...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

1-05 7,154 views

      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前...
阅读全文 0