关于大型监控系统的高性能组件设计

架构设计,运维开发,高性能 3,025 views
      以前有幸参与过一个分布式监控系统开发,有一些所谓的设计和开发的经验,但苦于公司的内部系统无法开源,所以也就藏着掖着。   前两天跟一途牛网、饿了么的朋友胡扯了监控系统的事,这尼玛正好点燃了我这高射炮,可以有个地好好释放了下...
阅读全文 3

关于大型监控系统的高性能组件设计

07-16 3,025 views

      以前有幸参与过一个分布式监控系统开发,有一些所谓的设计和开发的经验,但苦于公司的内部系统无法开源,所以也就藏着掖着。   ...
阅读全文 3

报警监控平台之设计url回调webhook管理系统

运维开发 6,605 views
前言:        关于监控方面的回调,国内也有一些第三方的厂商在用,比如dnspod的url回调和监控宝的url回调!        webhook,gitlab是有个webhook,可以做自动测试。         曾经写...
阅读全文 0

报警监控平台之设计url回调webhook管理系统

08-11 6,605 views

前言:        关于监控方面的回调,国内也有一些第三方的厂商在用,比如dnspod的url回调和监控宝的url回调!     &n...
阅读全文 0

报警平台之邮件短信语音智能收敛过滤合并

运维开发 7,014 views
前端时间跟同事了一块扯了扯关于zabbix的二次开发,集成cmdb资产的zabbix和sql语句性能优化! 关于报警信息的收敛过滤合并,文章原文是  http://xiaorui.cc/?p=1861 好了,咱们开始吧 ~ 为什么要做告警平台? 到底是为什么? zabbx自己不...
阅读全文 5

报警平台之邮件短信语音智能收敛过滤合并

7,014 views

前端时间跟同事了一块扯了扯关于zabbix的二次开发,集成cmdb资产的zabbix和sql语句性能优化! 关于报警信息的收敛过滤合并,文章原文是  http://xi...
阅读全文 5

告警通知平台的api设计思路及数据统计

运维开发 5,425 views
有人问我,咋利用微信发送报警通知的调用接口。但是我当时用的是腾讯内部的接口,特别流氓,就算你把通知的微信号拉到黑名单,照样给你推送信息。这个接口没有对外开放的,我也没招的。现在微信公众平台主动推送信息也是有限制的, 所以外部调用是很不靠谱的~ ...
阅读全文 1

告警通知平台的api设计思路及数据统计

5,425 views

有人问我,咋利用微信发送报警通知的调用接口。但是我当时用的是腾讯内部的接口,特别流氓,就算你把通知的微信号拉到黑名单,照样给你推送信息。这个接口...
阅读全文 1

通过elasticsearch批量创建kibana的visualize图表及dashboard

elasticsearch,运维,运维开发 9,890 views
      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没上线,SO,在这样监控不给力的情况下,就需要产品经理自己去统计下。 文章写的不是很严谨,欢迎来喷,另...
阅读全文 8

通过elasticsearch批量创建kibana的visualize图表及dashboard

06-09 9,890 views

      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没...
阅读全文 8

实现kibana4中多条数据自定义组合并计算整数平均值

运维,运维开发 10,166 views
这两天有个哥们在问我kibana4的问题,主要是围绕kibana4如何实现像graphite那样metric平均值,也就是聚合实现….    在老版的kibana中,应该是不能做的,没找到相关聚合文档…..    当然Elasticsearch是支持的,只是kibana这个前端...
阅读全文 11

实现kibana4中多条数据自定义组合并计算整数平均值

05-26 10,166 views

这两天有个哥们在问我kibana4的问题,主要是围绕kibana4如何实现像graphite那样metric平均值,也就是聚合实现….    在老版的kibana中,应...
阅读全文 11

360 QConf配置管理系统简易部署和使用

运维开发 7,231 views
今晚网上测试了下360开源的qconf配置管理。算是个运维平台吧。   其实早就知道他已经开源了,只是今天才开始测试了下,对于测试的结果,我不是很满意,也可能是我测试的场景过于的简单,没有太突出的体现…   最近爬虫很是无品,我标记下我...
阅读全文 2

360 QConf配置管理系统简易部署和使用

04-14 7,231 views

今晚网上测试了下360开源的qconf配置管理。算是个运维平台吧。   其实早就知道他已经开源了,只是今天才开始测试了下,对于测试的结果,我不是很满意...
阅读全文 2

nginx tcp实现hbase thrift server负载均衡

运维开发 7,840 views
不是爬虫!!    还是那句话,量大了,屁事都是大事 ~~~     过年到现在,工作的内容基本是调优,调优,调优….   从hbase替换成Elasticsearch,分布式任务的docker化,大量的拆解逻辑,改为MQ离线,时序任务队列,查询逻辑加cache...
阅读全文 2

nginx tcp实现hbase thrift server负载均衡

04-09 7,840 views

不是爬虫!!    还是那句话,量大了,屁事都是大事 ~~~     过年到现在,工作的内容基本是调优,调优,调优….   从hbase...
阅读全文 2

设想用python实现类httpdns的dns服务

运维开发 5,258 views
看到了以前dnspod的同事发布了一个httpdns的服务,突然记起了来,奶罩最一开始的设想,就是要在手机app里面集成一个httpdns的服务,在当时想法还是很时尚的。  随着腾讯大量的使用httpdns后,紧接着dnspod也发布了类似的产品了。    原...
阅读全文 2

设想用python实现类httpdns的dns服务

03-28 5,258 views

看到了以前dnspod的同事发布了一个httpdns的服务,突然记起了来,奶罩最一开始的设想,就是要在手机app里面集成一个httpdns的服务,在当时想法还是很时...
阅读全文 2

线上测试docker在cpu密集运算的场景下性能的表现

docker,运维开发 7,826 views
2015-08-22 补充下文档…. …. 先前这文章写的有些零散,不着调…. 今个再把文档给补充下。 题外话,我们先聊下虚拟机和docker在性能的区别.  VM是一个运行在宿主机之上的完整的操作系统,VM运行自身操作系统会占用较多的CPU、内...
阅读全文 1

线上测试docker在cpu密集运算的场景下性能的表现

03-26 7,826 views

2015-08-22 补充下文档…. …. 先前这文章写的有些零散,不着调…. 今个再把文档给补充下。 题外话,我们先聊下虚拟机和docker在...
阅读全文 1

elk调优之修改logstash写入elasticsearch按照时间分库

elasticsearch,运维开发 6,908 views
logstash index服务端又自己挂了,很让人发蒙…. 原因还没找到. 说下现在的问题…. 原本的logstash是按照每天一个库,这样在es集群环境下会做太多的sharding。   所以改成按照月切割,每月一个。 该文章写的有些乱,欢迎来喷 ! 另外...
阅读全文 0

elk调优之修改logstash写入elasticsearch按照时间分库

03-23 6,908 views

logstash index服务端又自己挂了,很让人发蒙…. 原因还没找到. 说下现在的问题…. 原本的logstash是按照每天一个库,这样在es集群环境下...
阅读全文 0

在kibana里使用lucene语法进行搜索query搜索

DB,运维开发 16,099 views
昨天也终于把另一个模块的日志也迁入了logstash里了。  现在日志都导入到Elasticsearch了,当然肯定也会用到kibana的,用来专门给产品经理定制了专业的buzz爬虫面板,可以看到各个模块的运行情况和数据统计。 关于kibana搜索语法的原文链接是,http:/...
阅读全文 4

在kibana里使用lucene语法进行搜索query搜索

02-13 16,099 views

昨天也终于把另一个模块的日志也迁入了logstash里了。  现在日志都导入到Elasticsearch了,当然肯定也会用到kibana的,用来专门给产品经理定制了专业...
阅读全文 4

confd和etcd实现配置管理及模板使用

DB,运维开发 14,119 views
关于confd是什么?      他是一个可以在etcd和consul的基础上实现配置管理的工具。 etcd和consul在功能上是有些重叠的,所以咱们就拿etcd来测试吧。 再简单来描述下conf,他是可以从etcd里面获取kv数据,然后通过咱们提前定制的模板,渲...
阅读全文 8

confd和etcd实现配置管理及模板使用

01-25 14,119 views

关于confd是什么?      他是一个可以在etcd和consul的基础上实现配置管理的工具。 etcd和consul在功能上是有些重叠的,所以咱们就拿etc...
阅读全文 8

使用python构建基于opentsdb的metric监控客户端 [上篇]

运维开发 7,947 views
最近在折腾metric监控的东西,再加上到这里后逼格提升了不少,所以想写点关于构建metric系统的文章,用来装逼,找喷… … 能不能别把文章转走,标记下原文地址    xiaorui.cc       我自己是个臭屁的人,尝尝装逼为乐!...
阅读全文 3

使用python构建基于opentsdb的metric监控客户端 [上篇]

01-10 7,947 views

最近在折腾metric监控的东西,再加上到这里后逼格提升了不少,所以想写点关于构建metric系统的文章,用来装逼,找喷… … 能不能别把文章转走...
阅读全文 3

为12306提交了一个行程泄露的漏洞

运维开发 3,747 views
嗯哼,前两天看到一个新闻说是,12306加入了补天漏洞平台,貌似给钱,钱还不少,居然尼玛有2000元。  正好这两天为了 爱情,找到一个信息泄露的漏洞,可以轻易的查询到对方的未来的行程,就在补天提交了 !  我现在很想知道,12306打算...
阅读全文 0

为12306提交了一个行程泄露的漏洞

12-30 3,747 views

嗯哼,前两天看到一个新闻说是,12306加入了补天漏洞平台,貌似给钱,钱还不少,居然尼玛有2000元。  正好这两天为了 爱情,找到一个...
阅读全文 0

在线查询12306泄露的用户密码、手机及身份证信息

运维开发 9,468 views
   中新网12月25日电 据12306官方网站消息,针对互联网上出现“12306网站用户信息在互联网上疯传”的报道,经12306官方网站认真核查,此泄露信息全部含有用户的明文密码。12306官方网站数据库所有用户密码均为多次加密的非明文转换码,网上泄...
阅读全文 22

在线查询12306泄露的用户密码、手机及身份证信息

12-25 9,468 views

   中新网12月25日电 据12306官方网站消息,针对互联网上出现“12306网站用户信息在互联网上疯传”的报道,经12306官方网站认真核查,...
阅读全文 22

python使用redis实现协同控制的分布式锁

运维开发 7,682 views
这两天心情不好,因为感情问题,在这里给朋友们都提个醒! 不要天天code,珍惜身边的人,别你妈天天宅家里,不是代码,就是撸管的。  上午的时候,有个腾讯的朋友问我,关于用zookeeper分布式锁的设计,他的需求其实很简单,就是节点之间的协同合作...
阅读全文 10

python使用redis实现协同控制的分布式锁

12-19 7,682 views

这两天心情不好,因为感情问题,在这里给朋友们都提个醒! 不要天天code,珍惜身边的人,别你妈天天宅家里,不是代码,就是撸管的。  上午的...
阅读全文 10

python调用zookeeper管理thrift集群可用性队列

python,运维开发 6,990 views
        我要开始吐槽了,这两天让公司的Hbase搞的高潮四起,有一个namenode的节点,总是出问题,他的一些个问题,引起其他节点的性能的下降,反正很坑。  以前貌似没这个问题,还好我们组有个百度做底层的大拿,兵强。 这段时间估计会调...
阅读全文 1

python调用zookeeper管理thrift集群可用性队列

12-17 6,990 views

        我要开始吐槽了,这两天让公司的Hbase搞的高潮四起,有一个namenode的节点,总是出问题,他的一些个问题,引起其他节点的性能...
阅读全文 1

关于监控数据库influxdb的配置调整及性能优化

运维开发 13,727 views
     这两天针对Influxdb有些不爽,主要还是体现在的他性能方面。下面的内容是我这两天总结,应该对大家有些帮助,那么需要说明的是,我用influxdb做时序数据库的应用场景很小,也就是一百多个爬虫节点和数据抽取平台的,加起来不到150个节点的。 ...
阅读全文 13

关于监控数据库influxdb的配置调整及性能优化

12-15 13,727 views

     这两天针对Influxdb有些不爽,主要还是体现在的他性能方面。下面的内容是我这两天总结,应该对大家有些帮助,那么需要说明的是,我用i...
阅读全文 13

对于saltstack更换zeromq用raet做通信方式的闲聊

saltstack,运维开发 8,397 views
      经常用saltstack的人会发现,zeromq貌似不是那么靠谱,其实不能说0mq不靠谱,应该说salt的这样的集群的环境,导致zeromq 不能更好的融合于0mq的体系里面。        那么其实我个人,觉得zeromq确保可靠性质的方案...
阅读全文 1

对于saltstack更换zeromq用raet做通信方式的闲聊

11-28 8,397 views

      经常用saltstack的人会发现,zeromq貌似不是那么靠谱,其实不能说0mq不靠谱,应该说salt的这样的集群的环境,导致zeromq 不能更好的...
阅读全文 1

运维平台化ipmi和Cobbler构建自动化装机平台

运维开发 5,909 views
这里面的数据做过串改,不是真实线上数据,勿当真. 更多关于运维自动化的文章,请到 xiaorui.cc 文章是以前在51cto写的,这次在我的博客中再修改分享下:      那段时间,去感受下公司的pxe装机平台。 这边的装机...
阅读全文 4

运维平台化ipmi和Cobbler构建自动化装机平台

11-26 5,909 views

这里面的数据做过串改,不是真实线上数据,勿当真. 更多关于运维自动化的文章,请到 xiaorui.cc 文章是以前在51cto写的,这...
阅读全文 4