在docker中用logstash时遇到的坑爹问题

原因是这样,一大早就遇到了elasticsearch集群性能的问题,当时没注意,以为是别的同事在跑计算任务引起的。 但是发现kibana里面有大量的错误,不能说错误日志,是logstash本身的一些错误信息..  很是奇怪,以前真的是没有遇到这类的问题。。。    针对这问题,我从各方面检查可能会出现问题的地方。  话说从上个月起logstash的问题就不断, 首先是logstash 跟elasticsearch的链接总是太多的链接close,导致任务堵塞,配置里面我就开了一个worker。 问了饶晨琳, 据他的意思是说,1.4.2这个版本应该是有些问题,让我更换到1.5.1 ,这新版我是测试了,但是返回大量关于elasticsearch链接数太多的ERROR ,  不知道是啥问题?

这是我的logstash环境,我是用docker启动的。 

docker版本  1.6

redis版本     3.0

logstash       1.4.2

容器版本      14.04

关于logstash的奇怪问题,原文地址  http://xiaorui.cc/?p=1831


 

才12个小时,就出现了这么多的垃圾信息,这nima也太恶心了。 

首先怀疑是redis的队列里面有这样的信息,但是我写了个小脚本检查数据,发现数据都是OK的,没有那种奇奇怪怪的问题。 

那么再来判断下logstash conf是否有问题,这是我的logstash server服务端的配置

logstash server 端的日志输出也是正常的,里面的内容是根 redis队列是一致的。 

抓包分析后,发现在logstash发往elasticsearch的时候,含有key_count 。    话说以前这都是北京机房的配置,现在到了上海机房后,发现的这个问题。 


最后的解决办法?   重新自己打成docker镜像,解决了这logstash让人闹心的问题。  说实话具体的原因我也不太清楚,以前的docker镜像是同事build的,我看了下dockerfile里面的jdk是一样,logstash配置和版本也都一样。  对了,我特么还docker exec 进入出问题的那容器,把logstash server 重新安装和配置了下,但问题依旧…. 


我在github上已经提交了这个,看看做着是否能想到解决的办法. 

https://github.com/elastic/logstash/issues/3704



1 Response

  1. 米运维 2015年8月7日 / 上午9:41

    昨天在群里看到你的问题了,原来无解

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">