请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

使用profile分析python mysqldb遇到的性能问题

python 6,641 views
今天聊聊,如何使用mysql profiling调试python mysqldb遇到的性能问题 ? 这两天有几个烂需求,各种各样的统计数据。其中sql语句中含有like 这样的模糊查询,本来这东西不复杂,但mysql like是需要用% %符号的,恰好python的string转义用的也是% … 爬虫太狠,注释下 python mysqldb性能分析的文章原文链接,...
阅读全文 2

使用profile分析python mysqldb遇到的性能问题

8-18 6,641 views

今天聊聊,如何使用mysql profiling调试python mysqldb遇到的性能问题 ? 这两天有几个烂需求,各种各样的统计数据。其中sql语句中含有like 这样的模糊查询,...
阅读全文 2

docker下计划任务crontab的使用方法[python]

docker 15,524 views
今天聊下在docker怎么合理的使用crontab 。  一直没有注意在docker如何使用crontab计划任务,我曾经已经不能用,所以用的是dockerfile定义的启动脚本,里面含有一个while的循环逻辑。  Docker crontab的使用 , http://xiaorui.cc/?p=1875 下面是一个简单的Dockerfile文件 ...
阅读全文 1

docker下计划任务crontab的使用方法[python]

8-14 15,524 views

今天聊下在docker怎么合理的使用crontab 。  一直没有注意在docker如何使用crontab计划任务,我曾经已经不能用,所以用的是dockerfile定义的启动脚...
阅读全文 1

报警监控平台之设计url回调webhook管理系统

运维开发 8,183 views
前言:        关于监控方面的回调,国内也有一些第三方的厂商在用,比如dnspod的url回调和监控宝的url回调!        webhook,gitlab是有个webhook,可以做自动测试。         曾经写过一调度系统,调用监控宝的多点监控,联合dnspod的ap...
阅读全文 0

报警监控平台之设计url回调webhook管理系统

8-11 8,183 views

前言:        关于监控方面的回调,国内也有一些第三方的厂商在用,比如dnspod的url回调和监控宝的url回调!     &n...
阅读全文 0

报警平台之邮件短信语音智能收敛过滤合并

运维开发 8,996 views
前端时间跟同事了一块扯了扯关于zabbix的二次开发,集成cmdb资产的zabbix和sql语句性能优化! 关于报警信息的收敛过滤合并,文章原文是  http://xiaorui.cc/?p=1861 好了,咱们开始吧 ~ 为什么要做告警平台? 到底是为什么? zabbx自己不就能发邮件么,干嘛需要报警平台支持呢 ? ...
阅读全文 5

报警平台之邮件短信语音智能收敛过滤合并

8-11 8,996 views

前端时间跟同事了一块扯了扯关于zabbix的二次开发,集成cmdb资产的zabbix和sql语句性能优化! 关于报警信息的收敛过滤合并,文章原文是  http://xi...
阅读全文 5

告警通知平台的api设计思路及数据统计

运维开发 6,683 views
有人问我,咋利用微信发送报警通知的调用接口。但是我当时用的是腾讯内部的接口,特别流氓,就算你把通知的微信号拉到黑名单,照样给你推送信息。这个接口没有对外开放的,我也没招的。现在微信公众平台主动推送信息也是有限制的, 所以外部调用是很不靠谱的~ 原文地址 , http://xiaorui.cc/?p=1854 ...
阅读全文 1

告警通知平台的api设计思路及数据统计

8-11 6,683 views

有人问我,咋利用微信发送报警通知的调用接口。但是我当时用的是腾讯内部的接口,特别流氓,就算你把通知的微信号拉到黑名单,照样给你推送信息。这个接口...
阅读全文 1

用python开发比SimpleHTTPServer更好的文件服务器 [上传下载]

python 8,167 views
前几天在服务器文件传输文件的时候,遇到了一些恶心的事情…    很多时候scp和rsync是没有打通免密钥的,每次输入我那密码,很是费劲。  我相信大家也会经常用SimpleHTTPServer来下载文件,他性能不好,接口是堵塞的,同时只能一个人下来。   另外有时候,某个节点他没有外网,他不能用S...
阅读全文 0

用python开发比SimpleHTTPServer更好的文件服务器 [上传下载]

8-09 8,167 views

前几天在服务器文件传输文件的时候,遇到了一些恶心的事情…    很多时候scp和rsync是没有打通免密钥的,每次输入我那密码,很是费劲。...
阅读全文 0

mongodump按照日期时间范围导出数据

mongodb 5,998 views
最近数据大迁移,Mysql迁移已经完成,但是因为上海机房的硬盘不像ssd那么给力…  Hbase是通过thrift来对导..   今天要从mongodb导出些业务数据,做一些测试。 下面是mongo里面的数据格式,created_on是时间字段。  我们要做的是,按照日期来导出mongodb。  ...
阅读全文 0

mongodump按照日期时间范围导出数据

8-07 5,998 views

最近数据大迁移,Mysql迁移已经完成,但是因为上海机房的硬盘不像ssd那么给力…  Hbase是通过thrift来对导..   今天要从mongodb导出些...
阅读全文 0

在docker中用logstash时遇到的坑爹问题

运维 6,452 views
原因是这样,一大早就遇到了elasticsearch集群性能的问题,当时没注意,以为是别的同事在跑计算任务引起的。 但是发现kibana里面有大量的错误,不能说错误日志,是logstash本身的一些错误信息..  很是奇怪,以前真的是没有遇到这类的问题。。。    针对这问题,我从各方面检查可能会出现问题的地方。 ...
阅读全文 1

在docker中用logstash时遇到的坑爹问题

8-06 6,452 views

原因是这样,一大早就遇到了elasticsearch集群性能的问题,当时没注意,以为是别的同事在跑计算任务引起的。 但是发现kibana里面有大量的错误,不能说错误...
阅读全文 1

解决hbase跑mapreduce时遇到内存及超时问题

DB,python 6,646 views
这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化跑任务出点小问题。 今上午,自动化都解决后,又……….. 下面这是跑mapreduce回溯作业时返回的错误,mapreduce如果有一个map任务失败,...
阅读全文 2

解决hbase跑mapreduce时遇到内存及超时问题

8-04 6,646 views

这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化...
阅读全文 2

python版shadowsocks流量及用户管理开发

python 12,140 views
上周五回青岛了,让我不爽的是航班因为天气问题被取消了,然后回北京的时候,特么飞机起飞的时间又拖延了2个小时,特么真倒霉… … 在北京T3机场的时候,碰到几个屌丝,长那样就是个IT屌丝的样子… 本来没眯一会的,但是他们的声音有些大,各种python专业术语。搞得我有些心痒痒,就跟他们聊了会,原来...
阅读全文 5

python版shadowsocks流量及用户管理开发

8-03 12,140 views

上周五回青岛了,让我不爽的是航班因为天气问题被取消了,然后回北京的时候,特么飞机起飞的时间又拖延了2个小时,特么真倒霉… … 在北京T3机场...
阅读全文 5

docker运维平台之python解析Dockerfile配置

docker 6,654 views
最近有些想法,出于寂寞… 最近看docker群里不少人在写docker运维平台。 话说,我自己也有些手痒痒了,打算搞一个开源的简单的docker平台。   标注下,python解析dockerfile文件的原文地址是,http://xiaorui.cc/?p=1806 这个星期后期写了不少关于docker的小模块,是基于docker api写的,功...
阅读全文 0

docker运维平台之python解析Dockerfile配置

7-29 6,654 views

最近有些想法,出于寂寞… 最近看docker群里不少人在写docker运维平台。 话说,我自己也有些手痒痒了,打算搞一个开源的简单的docker平台。  ...
阅读全文 0

详细讲述python自省函数getattr的用法

python 8,886 views
这两天看了公司的老代码,发现有大量的在用getattr….  虽然在不得已的时候,也会考虑用getattr,只是没这么频繁而已….     这边的getattr主要是用在函数调用上,比如一个简单的rpc服务,里面注册了N个函数,这时候,客户端是知道自己需要调用哪个函数的,他给我传递了一个名字叫getName...
阅读全文 0

详细讲述python自省函数getattr的用法

7-27 8,886 views

这两天看了公司的老代码,发现有大量的在用getattr….  虽然在不得已的时候,也会考虑用getattr,只是没这么频繁而已….     ...
阅读全文 0

使用python实现分布式自增id算法

python 6,561 views
这两天在看大规模分布式系统架构与设计实战,让我受益良多,尤其是从底层的架构上了解了分布式整体架构,及其各个功能组件是如何协调的。 书里面多次的提到了分布式id,但是没有阐述是分布式自增id是怎么玩的… …   记得去年去百度面试也有问过分布式ID的事情,我当时也说过不不少的解决的方案…...
阅读全文 0

使用python实现分布式自增id算法

7-26 6,561 views

这两天在看大规模分布式系统架构与设计实战,让我受益良多,尤其是从底层的架构上了解了分布式整体架构,及其各个功能组件是如何协调的。 书里面多次的提到...
阅读全文 0

elk迁移之kibana的配置导出export及迁移

运维 7,555 views
这两天有些忙,机房做迁移,我们手上的项目也都要跟着迁移过去,大多数模块已经被我搞成docker了,但有个管理系统很杂,是前人留下的,里面本身就有不少坑,然后又耦合了不少数据库,mongodb、redis、hbase、mysql都用….  你妈就不能用一个呀。 关于kibana迁移文章的出处,http://xiaorui.cc/?p=177...
阅读全文 0

elk迁移之kibana的配置导出export及迁移

7-24 7,555 views

这两天有些忙,机房做迁移,我们手上的项目也都要跟着迁移过去,大多数模块已经被我搞成docker了,但有个管理系统很杂,是前人留下的,里面本身就有不少坑,...
阅读全文 0

扯扯在开发中python闭包的应用

python 5,690 views
跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得写类class。  我就直接用闭包。。  闭包(closure)是函数式编程的重要的语法结构。函数式编程是一种编程范式 (而面向过程编程和面向对象编程也都是...
阅读全文 0

扯扯在开发中python闭包的应用

7-22 5,690 views

跟同事又聊起了闭包,闭包算是个设计模型,但发现周边的人python闭包用的很少….   我自己时不时会用。 python的闭包除了装饰器之外,有时候懒得...
阅读全文 0

TB级mysql数据之xtrabackup压缩备份迁移方案

运维 8,428 views
开始迁移数据了,因为历史遗留的问题,又因为部门的数据统一性,多个不同的库表都在一个节点上,然后后面好多个从…..  首先看下我们数据库的大小… , 再加上一个binlog日志,会更大的….   当然对于咱们数据迁移来说,只需要把数据就可以了. 既然是迁移, 那么大家一定想做到无缝的迁移...
阅读全文 10

TB级mysql数据之xtrabackup压缩备份迁移方案

7-15 8,428 views

开始迁移数据了,因为历史遗留的问题,又因为部门的数据统一性,多个不同的库表都在一个节点上,然后后面好多个从…..  首先看下我们数据库的大小&...
阅读全文 10

python使用master worker管理模型开发服务端

python 8,111 views
今天聊聊,我在用python开发服务端时,用到的master worker进程管理模型….        上次在外面做分享的时候,不少人对这个Master worker模式很感兴趣…    我想说的是,python写服务端虽然性能没有C,哪怕新潮的Golang强劲,但是他的扩展丰富,相关的模块也很丰富…...
阅读全文 4

python使用master worker管理模型开发服务端

7-13 8,111 views

今天聊聊,我在用python开发服务端时,用到的master worker进程管理模型….        上次在外面做分享的时候,不少人对这个M...
阅读全文 4

扯扯python的多线程的同步锁 Lock RLock Semaphore Event Condition

python 7,180 views
我想大家都知道python的gil限制,记得刚玩python那会,知道了有pypy和Cpython这样的解释器,当时听说是很猛,也就意味肯定是突破了gil的限制,最后经过多方面测试才知道,还是那德行…. 如果你的应用英语那种cpu密集运算的,p大部分情况都推荐使用多进程。 有些扯远了,我个人很喜欢用gevent这种协程的框...
阅读全文 0

扯扯python的多线程的同步锁 Lock RLock Semaphore Event Condition

7-10 7,180 views

我想大家都知道python的gil限制,记得刚玩python那会,知道了有pypy和Cpython这样的解释器,当时听说是很猛,也就意味肯定是突破了gil的限制,最后经...
阅读全文 0

针对redis的HyperLogLog做基数统计性能测试

DB 8,165 views
Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,他不仅能做去重处理,更主要的是在海量的元素下,占用的内存空间要比redis集合要少的多,我后面有测试的结果…… 在 Redis 里面,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算接近 2^64 个不同元素的基 数。这和计算基数时,元素...
阅读全文 1

针对redis的HyperLogLog做基数统计性能测试

7-07 8,165 views

Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,他不仅能做去重处理,更主要的是在海量的元素下,占用的内存空间要比redis集合要少的多...
阅读全文 1

使用python多线程threading的timer实现任务定时器

python 9,434 views
跟同事聊起了delayqueue的实现delayqueue是啥? 听着名字就知道是延迟队列,也可以理解为是基于时间的定时任务队列.  delayqueue又有什么用处?  比如你维护了一个连接池,但是因为各种原因,你需要把这一堆的链接超过5分钟的长连接给干掉,重新创建个新的,然后塞入队列里面… 比如你维护了cache server...
阅读全文 0

使用python多线程threading的timer实现任务定时器

7-03 9,434 views

跟同事聊起了delayqueue的实现delayqueue是啥? 听着名字就知道是延迟队列,也可以理解为是基于时间的定时任务队列.  delayqueue又有什么用处?  ...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

python 8,545 views
最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   scan扫描库是,定时的统计计算上个小时的各种数据,不管是从mysql或者是hbase….   实时统计是,线上的几大核心模块自主发出metric信息到mq...
阅读全文 0

使用PriorityQueue和heapq实现基于时间戳的时序优先级队列

7-01 8,545 views

最近在做一个基于业务的监控系统,当然还是python,他区别于基础监控和那种探测监控。 这次的stormMonitor更多的是scan扫描库和实时的统计…   ...
阅读全文 0