请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

logstash连接elasticserach时大范围连接关闭和堵塞的问题

运维 5,233 views
今天一上班朱伟就告诉我,有大量的邮件报警,是关于logstash redis队列的堆积,数目有些大,已经积攒了100w了。  很是晕头,上次其实已经遇到过这样的问题,当时因为是做了redis升级调整,以为是这个引起的,所以重启了logstash server端解决了。  后来又发生了这样的情况,也就是 logstash不工作的情况。 &...
阅读全文 3

logstash连接elasticserach时大范围连接关闭和堵塞的问题

4-30 5,233 views

今天一上班朱伟就告诉我,有大量的邮件报警,是关于logstash redis队列的堆积,数目有些大,已经积攒了100w了。  很是晕头,上次其实已经遇到过这样的...
阅读全文 3

elk调优之修改logstash写入elasticsearch按照时间分库

elasticsearch,运维开发 6,339 views
logstash index服务端又自己挂了,很让人发蒙…. 原因还没找到. 说下现在的问题…. 原本的logstash是按照每天一个库,这样在es集群环境下会做太多的sharding。   所以改成按照月切割,每月一个。 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。 xi...
阅读全文 0

elk调优之修改logstash写入elasticsearch按照时间分库

3-23 6,339 views

logstash index服务端又自己挂了,很让人发蒙…. 原因还没找到. 说下现在的问题…. 原本的logstash是按照每天一个库,这样在es集群环境下...
阅读全文 0

python logging定制logstash的json日志格式

python 7,554 views
最近一直在折腾日志的收集,现在算是收尾了。  写一篇算python优化logstash的方案。  其实大家都知道logstash调用grok来解析日志的话,是要消耗cpu的成本的,毕竟是需要正则的匹配的。  根据logstash调优的方案,咱们可以预先生成json的格式。 我这边基本是python的程序,怎么搞尼 ?  ...
阅读全文 1

python logging定制logstash的json日志格式

1-30 7,554 views

最近一直在折腾日志的收集,现在算是收尾了。  写一篇算python优化logstash的方案。  其实大家都知道logstash调用grok来解析日志的话,...
阅读全文 1