logstash连接elasticserach时大范围连接关闭和堵塞的问题

今天一上班朱伟就告诉我,有大量的邮件报警,是关于logstash redis队列的堆积,数目有些大,已经积攒了100w了。  很是晕头,上次其实已经遇到过这样的问题,当时因为是做了redis升级调整,以为是这个引起的,所以重启了logstash server端解决了。  后来又发生了这样的情况,也就是 logstash不工作的情况。   今天就把这问题给排查下。

队列的数目一直在增长,但是logstash的进程还是存在的。 

看下logstash的进程的状态, 用strace追踪下进程的函数调用。 

用lsof看到了大量elasticsearch的CLOSE_WAIT的状态,看了下系统的sysctl.conf的配置,对于tcp’的调优已经是配置过了。 但是问题依旧

后来在nginx端做了keepalived保持,对于CLOSE_wait的效果还是有些提升的。  但还是会出现这样的情况,甚是蛋疼 ! 


对Golang感兴趣的朋友可以加群: 278517979 !!!
另外如果大家觉得文章对你有些作用! 如果想赏钱,可以用微信扫描下面的二维码, 感谢!
另外再次标注博客原地址  xiaorui.cc

3 Responses

  1. 不明真相的苦逼运维 2015年11月2日 / 下午6:11

    试下scribe呢?
    做个文件buffer

  2. 王超 2015年4月30日 / 上午7:05

    好吧

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">