通过elasticsearch批量创建kibana的visualize图表及dashboard

elasticsearch,运维,运维开发 15,121 views
      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没上线,SO,在这样监控不给力的情况下,就需要产品经理自己去统计下。 文章写的不是很严谨,欢迎来喷,另...
阅读全文 8

通过elasticsearch批量创建kibana的visualize图表及dashboard

06-09 15,121 views

      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没...
阅读全文 8

docker中使用logrotate对logstash日志切分和过期

docker,运维 8,073 views
昨天发现爬虫的日志太大了,居然每个容器里面,日志都大10G了。   这边的环境是docker,日志收集用的是logstash,切分用的是logrotate 。  日志超过1G之后,logstash会占用的cpu 内存会更多,要及时的清理日志,不然光是logstash的那个java进程就要卡死...
阅读全文 0

docker中使用logrotate对logstash日志切分和过期

05-26 8,073 views

昨天发现爬虫的日志太大了,居然每个容器里面,日志都大10G了。   这边的环境是docker,日志收集用的是logstash,切分用的是logrotate 。  日志...
阅读全文 0

实现kibana4中多条数据自定义组合并计算整数平均值

运维,运维开发 15,057 views
这两天有个哥们在问我kibana4的问题,主要是围绕kibana4如何实现像graphite那样metric平均值,也就是聚合实现….    在老版的kibana中,应该是不能做的,没找到相关聚合文档…..    当然Elasticsearch是支持的,只是kibana这个前端...
阅读全文 11

实现kibana4中多条数据自定义组合并计算整数平均值

15,057 views

这两天有个哥们在问我kibana4的问题,主要是围绕kibana4如何实现像graphite那样metric平均值,也就是聚合实现….    在老版的kibana中,应...
阅读全文 11

使用iptables管理docker容器做端口映射网络

docker,运维 10,405 views
昨天写了篇文章是关于docker如何绑定静态的ip,使容器里面的ip是固定的ip地址….  另外关于绑定ip地址,我们也是可以在docker run的时候用 docker run -p ip:port:port的方式….  他其实就是调用的iptables的方法…   原文...
阅读全文 1

使用iptables管理docker容器做端口映射网络

05-20 10,405 views

昨天写了篇文章是关于docker如何绑定静态的ip,使容器里面的ip是固定的ip地址….  另外关于绑定ip地址,我们也是可以在docker run的时候用 docke...
阅读全文 1

使用redis-trib fix命令修复redis cluster节点

DB,运维 9,251 views
Blog: http://xiaorui.cc/?p=1497 遇到个问题…. check节点的时候,会遇到下面的问题….. >>> Check for open slots… >>> Check slots coverage… [ERR] Not all 16384 slots are covered by nodes. oot@ubuntu:~# red...
阅读全文 1

使用redis-trib fix命令修复redis cluster节点

05-19 9,251 views

Blog: http://xiaorui.cc/?p=1497 遇到个问题…. check节点的时候,会遇到下面的问题….. >>> Check for open slots… ...
阅读全文 1

使ubuntu centos升级docker1.7最新版

运维 7,803 views
今天在家测试docker的集群网络,纯属瞎折腾…  测了pipework  .   中间遇到docker版本的问题….  这里就简单描述下. 起因是 exec进到容器的时候,发现怎么都进不去….   仔细一看提示,居然提示exec命令找不到R...
阅读全文 0

使ubuntu centos升级docker1.7最新版

7,803 views

今天在家测试docker的集群网络,纯属瞎折腾…  测了pipework  .   中间遇到docker版本的问题….  这里就简单描述下. ...
阅读全文 0

定制Dockerfile实现redis cluster的docker化部署及集群管理

docker,运维 10,902 views
   我们知道redis cluster的部署是很麻烦的,如果在一台服务器启动多个redis实例的话,需要一个个的cp配置文件到指定的目录,然后一个个的修改端口及相关的信息。。。以前经常这么干。 如果采用docker后,我们可以更加方便的启动redis, 我们只需要传递端...
阅读全文 2

定制Dockerfile实现redis cluster的docker化部署及集群管理

05-17 10,902 views

   我们知道redis cluster的部署是很麻烦的,如果在一台服务器启动多个redis实例的话,需要一个个的cp配置文件到指定的目录,然后一个个的修改端...
阅读全文 2

通过redis-trib.rb脚本构建并增删改查redis cluster集群

DB,运维 11,851 views
首先是创建redis cluster集群.   redis-trib.rb命令我们见过吧?  咱们安装搭建redis cluster集群的时候,必用的一条命令…..  关于redis-trib操作的文章,原文链接是  http://xiaorui.cc/?p=1458    http://xiaor...
阅读全文 0

通过redis-trib.rb脚本构建并增删改查redis cluster集群

05-16 11,851 views

首先是创建redis cluster集群.   redis-trib.rb命令我们见过吧?  咱们安装搭建redis cluster集群的时候,必用的一条命令…..  ...
阅读全文 0

ubuntu安装配置redis3.0的cluster集群模式

DB,运维 11,629 views
 今天,天气不错….  出去逛了下,在咖啡店看了会美女….  休闲时,看到携程的一朋友在github关注了一个python redis cluster集群模块….  立马警醒,不能在看妹子了….  人家大周末也学习,我也要学习…. &nbs...
阅读全文 4

ubuntu安装配置redis3.0的cluster集群模式

11,629 views

 今天,天气不错….  出去逛了下,在咖啡店看了会美女….  休闲时,看到携程的一朋友在github关注了一个python redis cluster集...
阅读全文 4

collectd监控性能联合influxdb grafana打造metric收集系统

DB,运维 10,837 views
这篇文章就简单的写下,如果利用 collectd influxdb grafana构建一个轻型的性能指标收集系统。  发现最近这个组合还是比较火辣的,相比 graphite  ,influxdb有更好的易用性和分布式扩展性。。   其次grafana的界面也比较cool和专...
阅读全文 1

collectd监控性能联合influxdb grafana打造metric收集系统

05-14 10,837 views

这篇文章就简单的写下,如果利用 collectd influxdb grafana构建一个轻型的性能指标收集系统。  发现最近这个组合还是比较火辣的,相比&n...
阅读全文 1

用shell开发json格式的influxdb的备份还原导出脚本

运维 8,295 views
最近有些忙,和同事搞redis集群的事情,也就有段时间没搞influxdb了。这两天有个哥们问我influxdb的备份还原,更是有甚至直接向我讨要influxdb的批量备份和还原的脚本,我暂时也没有高大上的方法…..   另外过几天把influxdb集群的相关细节分享给...
阅读全文 1

用shell开发json格式的influxdb的备份还原导出脚本

05-12 8,295 views

最近有些忙,和同事搞redis集群的事情,也就有段时间没搞influxdb了。这两天有个哥们问我influxdb的备份还原,更是有甚至直接向我讨要influxdb的批量备...
阅读全文 1

nginx1.9新模块ngx_stream_core_module实现stream tcp负载均衡

运维 11,650 views
啊哈,最近被thrift搞残了,已经各个项目要做大融合,尤其是大家的thrift都共用一个nginx前端今天又加了8个thrift,一共有28个Thrift服务了。有朋友可能怀疑需要这么多的thrift server么?    加入了….  我们已经在客户端层做了相关的优化了...
阅读全文 1

nginx1.9新模块ngx_stream_core_module实现stream tcp负载均衡

05-05 11,650 views

啊哈,最近被thrift搞残了,已经各个项目要做大融合,尤其是大家的thrift都共用一个nginx前端今天又加了8个thrift,一共有28个Thrift服务了。有朋友可能怀...
阅读全文 1

logstash连接elasticserach时大范围连接关闭和堵塞的问题

运维 7,974 views
今天一上班朱伟就告诉我,有大量的邮件报警,是关于logstash redis队列的堆积,数目有些大,已经积攒了100w了。  很是晕头,上次其实已经遇到过这样的问题,当时因为是做了redis升级调整,以为是这个引起的,所以重启了logstash server端解决了。  后来...
阅读全文 3

logstash连接elasticserach时大范围连接关闭和堵塞的问题

04-30 7,974 views

今天一上班朱伟就告诉我,有大量的邮件报警,是关于logstash redis队列的堆积,数目有些大,已经积攒了100w了。  很是晕头,上次其实已经遇到过这样的...
阅读全文 3

使用logstash和kibana4的新功能metric开发数据聚合

运维 12,787 views
这次把kibana3升级到kibana4,现在我们底层部门的日志都用elk方案了(logstash elasticsearch kibana)   说实话,一开始用kibana4的时候,差点屁了,跟kibana3不同的路数,以前熟悉的前端的操作,在kibana4里都是行不通的,用我们产经经理仕华的话来书,这...
阅读全文 2

使用logstash和kibana4的新功能metric开发数据聚合

04-16 12,787 views

这次把kibana3升级到kibana4,现在我们底层部门的日志都用elk方案了(logstash elasticsearch kibana)   说实话,一开始用kibana4的时候,差点屁了...
阅读全文 2

使用vim做python ide时中文乱码的问题

运维 7,165 views
碰到一个奇怪的问题,在mac下写了两个py文件,一个乱码,一个不乱码  搞得我七上八下的…   这个问题的缘由,今天开始写数据回溯的转移,从hbase到elasticsearch ,但是总是提示编码问题,我以为是elasticsearch python模块中文解码的问题,...
阅读全文 1

使用vim做python ide时中文乱码的问题

02-26 7,165 views

碰到一个奇怪的问题,在mac下写了两个py文件,一个乱码,一个不乱码  搞得我七上八下的…   这个问题的缘由,今天开始写数据回溯的...
阅读全文 1

使用Nginx Lua实现redis高性能http接口

运维 12,133 views
某些时候用python实现的接口性能不够强劲,需要换种方法来提高性能,这不就用lua试试。  常见的redis lua的组合功能 有接口防止过度访问,动态的数据加载,接口的数据缓存 redis没有直接提供一个http的接口,性能的比较的话,lua的能力要比php、...
阅读全文 1

使用Nginx Lua实现redis高性能http接口

01-27 12,133 views

某些时候用python实现的接口性能不够强劲,需要换种方法来提高性能,这不就用lua试试。  常见的redis lua的组合功能 有接口防止过度访问,动...
阅读全文 1

logstash使用grok正则解析日志和kibana遇到的问题

运维 19,368 views
妈蛋呀,改用logstash的原因是因为,scribe 真心搞不定,其次就是产品经理需要我开发一个可自定义的panel图表系统。 因为长时间没搞elk方案, 都忘了logstash的语法了,因为爬虫的都是我们自己定义的,这个时候需要自己手写正则了。  logstas...
阅读全文 9

logstash使用grok正则解析日志和kibana遇到的问题

19,368 views

妈蛋呀,改用logstash的原因是因为,scribe 真心搞不定,其次就是产品经理需要我开发一个可自定义的panel图表系统。 因为长时间没搞elk方案, 都...
阅读全文 9

一个可以根据crontab执行状态进行统计报警系统

运维 6,600 views
一个有意思的应用,可以识别你的crontab有没有执行成功,大家可以去试试。 原理很简单,就是在crontab里面curl一个接口,这个接口含有时间戳和动作。 服务端会根据你预先配置的间隔时间的判断是否ok,比如crontab里面你配置的是5分钟一次,那server端也是...
阅读全文 0

一个可以根据crontab执行状态进行统计报警系统

12-16 6,600 views

一个有意思的应用,可以识别你的crontab有没有执行成功,大家可以去试试。 原理很简单,就是在crontab里面curl一个接口,这个接口含有时间戳和动作。&n...
阅读全文 0

图片站方案之redis扩展记录fastdfs数据方案

python,运维 7,903 views
v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他说最近打算实现一个文件分享的网站,一个是图片,一个是特定的文件,比如压缩包、pdf这类的。 他个人是做idc...
阅读全文 0

图片站方案之redis扩展记录fastdfs数据方案

11-12 7,903 views

v1.0 v1.1 更正为,Fastdfs的python api还算是可以的,只是不是官方出的。  前言:         前段时间被朋友拖住了,他...
阅读全文 0

记录vps被坏人强插sfewfesfs病毒的风云战事

运维 8,162 views
前言:         这两天日本的linode慢的吐血,查看了下进程,其实当时发现了一个进程名字叫做,sfewfesfs的进程名,原以为是没品位的黄思聪搞的进程名字,也就没有注意。  也就今天觉得有些蹊跷,就再度搜了下, 一看,是个往外疯狂发...
阅读全文 0

记录vps被坏人强插sfewfesfs病毒的风云战事

11-09 8,162 views

前言:         这两天日本的linode慢的吐血,查看了下进程,其实当时发现了一个进程名字叫做,sfewfesfs的进程名,原以为是没品位...
阅读全文 0