docker ulimit引起elasticsearch Too many open files报错

docker,elasticsearch,运维 8,115 views
      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前段时间我们遇到了个问题, 是由于docker容器最大文件打开数配置太小引起的,其实我们在linux本机已经配置了/...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

01-05 8,115 views

      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前...
阅读全文 0

再次理解tcp关闭连接出现time_wait的情况

运维 7,204 views
作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外我负责的电商数据抓取也会有大量的time_wait的情况.  在我接触的场景下,web服务器和主动发起请求的爬...
阅读全文 2

再次理解tcp关闭连接出现time_wait的情况

12-29 7,204 views

作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外...
阅读全文 2

阿里云和linode新加坡节点网络速度稳定性测试

运维 9,494 views
    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的.    说正题,我的好朋友以前用过阿里云新加坡节点的,为什么说以前? 后来替换成vultr.   ...
阅读全文 2

阿里云和linode新加坡节点网络速度稳定性测试

12-28 9,494 views

    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的. &n...
阅读全文 2

通过logstash filter过滤屏蔽不需要的日志

运维 12,462 views
今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(包括垃圾日志) .   但为了精简数据需要logstash agent做日志的过滤,也就是说过滤掉不需要的日志.&nbs...
阅读全文 1

通过logstash filter过滤屏蔽不需要的日志

12-24 12,462 views

今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(...
阅读全文 1

python supervisor管理进程时遇到的问题

python,运维 9,232 views
记得第一次用supervisor的时候,这supervisor还毫无名气….  陆续用了他好几年,后来哥们自己搞了一个简易的supervisor,https://github.com/rfyiamcool/ArbiterHandler 废话不多说. 说说今天这事吧,本来是打算通过supervisord启动程序的时候, 出现...
阅读全文 0

python supervisor管理进程时遇到的问题

12-21 9,232 views

记得第一次用supervisor的时候,这supervisor还毫无名气….  陆续用了他好几年,后来哥们自己搞了一个简易的supervisor,https://github.com/rfyia...
阅读全文 0

我在公司内部关于高可用集群的分享

技术分享,运维 5,748 views
今天在我们组内做了一次分享,是关于高可用集群管理的主题. 期初我是想分享下etcd服务发现的,但发现这东西本来就小而精的东西,没什么讲的. 就打算换个话题分享下. 同事们知道我曾经在几个大厂做过运维,想知道现在各大互联网集群架构是什么样子?于是乎,主题就变...
阅读全文 0

我在公司内部关于高可用集群的分享

12-18 5,748 views

今天在我们组内做了一次分享,是关于高可用集群管理的主题. 期初我是想分享下etcd服务发现的,但发现这东西本来就小而精的东西,没什么讲的. 就打算换个话题...
阅读全文 0

纠结Kibana4的时区timezone配置问题

elasticsearch,运维 11,705 views
今天聊聊,我是如何被Kibana时区timezone问题搞得没脾气的… 前段时间跟大家聊过,我们开始使用metrices + kibana + elasticesarch集群的组合构建应用级性能监控,数据在es里面可以轻松的使用kibana画各种图表。 文章写的不是太严谨,后期...
阅读全文 3

纠结Kibana4的时区timezone配置问题

12-09 11,705 views

今天聊聊,我是如何被Kibana时区timezone问题搞得没脾气的… 前段时间跟大家聊过,我们开始使用metrices + kibana + elasticesarch集群的组合构...
阅读全文 3

使用socket so_reuseport提高服务端性能

python,运维 12,652 views
以前就在国外的论坛接触过SO_REUSEPORT,这两天朋友群又在传播nginx 1.9 reuseport多进程监听参数。那咱们简单说下SO_REUSEPORT的应用场景, 为什么会用他? 然而在讲解SO_REUSEPORT之前,需要先说下我们常用的网络模型。 文章写得不太严谨, 请砖家...
阅读全文 3

使用socket so_reuseport提高服务端性能

12-02 12,652 views

以前就在国外的论坛接触过SO_REUSEPORT,这两天朋友群又在传播nginx 1.9 reuseport多进程监听参数。那咱们简单说下SO_REUSEPORT的应用场景, 为什么...
阅读全文 3

一次ubuntu安装MariaDB(tokudb引擎)的经过

DB,运维 6,379 views
首先说明下,为什么会有这样的事情发生? 没事测试tokudb干嘛?  我现在还有一个身份是我们组的首席DBA….  太坑爹了…   看过我以前文章的朋友知道我们数据库有多大,现在mysql innodb引擎数据在2个T左右,如果是用tokudb 300G左右。 &n...
阅读全文 0

一次ubuntu安装MariaDB(tokudb引擎)的经过

11-17 6,379 views

首先说明下,为什么会有这样的事情发生? 没事测试tokudb干嘛?  我现在还有一个身份是我们组的首席DBA….  太坑爹了…   看过我...
阅读全文 0

elasticsearch的查询器query与过滤器filter的区别

DB,elasticsearch,运维 12,998 views
很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是多么有意思。  说正题,elasticsearch的查询有两部分组成:query and filter 。  下面...
阅读全文 2

elasticsearch的查询器query与过滤器filter的区别

11-09 12,998 views

很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是...
阅读全文 2

分享基于nginx lua开发中的一些代码例子

web,运维 7,337 views
这世道呀,写个文章被转来转去的…   以前在51cto写了不少于nginx lua的文章…   前段时间因为elasticsearch的权限管理又捡起lua。但是当全网搜lua文章的时候,居然搜到了被转载的文章。 当时看那文章的时候,发觉这人文笔忒差…  ...
阅读全文 0

分享基于nginx lua开发中的一些代码例子

11-07 7,337 views

这世道呀,写个文章被转来转去的…   以前在51cto写了不少于nginx lua的文章…   前段时间因为elasticsearch的权限管理又捡起lua。但...
阅读全文 0

使用elasticsearch的fields和partial_fields自定义限制字段

elasticsearch,运维 9,633 views
为了提高python elasticsearch的调用性能,从各方面都要小心注意。首先是在大量数据查询及导数的时候,要尽量的精简下返回的结果,去除那些不需要的字段。 在通过elasticsearch查询数据时候,不想显示所有字段,就在request Dsl请求语句里面增加了fields字段进行控...
阅读全文 1

使用elasticsearch的fields和partial_fields自定义限制字段

11-05 9,633 views

为了提高python elasticsearch的调用性能,从各方面都要小心注意。首先是在大量数据查询及导数的时候,要尽量的精简下返回的结果,去除那些不需要的字段。...
阅读全文 1

使用nginx lua对elasticsearch权限控制

elasticsearch,运维 7,234 views
想法: 呵呵,我最近还真有些迷恋Elasticsearch DSL语法了,尤其他那设计起来很有道理的RESTful API ! 虽然几年前也折腾elasticsearch,但更多的是应付事,当时找了一堆DSL语句来回的套用。 现在我这边正在开发一个应用监控系统,包含各种报表及业务各种趋...
阅读全文 0

使用nginx lua对elasticsearch权限控制

7,234 views

想法: 呵呵,我最近还真有些迷恋Elasticsearch DSL语法了,尤其他那设计起来很有道理的RESTful API ! 虽然几年前也折腾elasticsearch,但更多的是...
阅读全文 0

python在高并发下在线修改表结构时异常 [mysql]

DB,python,运维 8,195 views
以前我们遇到metadata lock的问题, 当时是因为业务逻辑导致了。 现在的场景是在线修改ddl语句,确切来说就是alter修改表结构 。 我们知道直接alter修改表结构,肯定会进行锁表,业务很瘦影响的。如果想避免锁表,可以采用pt-online-schema-change的方式。 ...
阅读全文 0

python在高并发下在线修改表结构时异常 [mysql]

10-14 8,195 views

以前我们遇到metadata lock的问题, 当时是因为业务逻辑导致了。 现在的场景是在线修改ddl语句,确切来说就是alter修改表结构 。 我们知道直接alter修...
阅读全文 0

在docker中用logstash时遇到的坑爹问题

运维 7,435 views
原因是这样,一大早就遇到了elasticsearch集群性能的问题,当时没注意,以为是别的同事在跑计算任务引起的。 但是发现kibana里面有大量的错误,不能说错误日志,是logstash本身的一些错误信息..  很是奇怪,以前真的是没有遇到这类的问题。。。    ...
阅读全文 1

在docker中用logstash时遇到的坑爹问题

08-06 7,435 views

原因是这样,一大早就遇到了elasticsearch集群性能的问题,当时没注意,以为是别的同事在跑计算任务引起的。 但是发现kibana里面有大量的错误,不能说错误...
阅读全文 1

elk迁移之kibana的配置导出export及迁移

运维 8,430 views
这两天有些忙,机房做迁移,我们手上的项目也都要跟着迁移过去,大多数模块已经被我搞成docker了,但有个管理系统很杂,是前人留下的,里面本身就有不少坑,然后又耦合了不少数据库,mongodb、redis、hbase、mysql都用….  你妈就不能用一个呀。 ...
阅读全文 0

elk迁移之kibana的配置导出export及迁移

07-24 8,430 views

这两天有些忙,机房做迁移,我们手上的项目也都要跟着迁移过去,大多数模块已经被我搞成docker了,但有个管理系统很杂,是前人留下的,里面本身就有不少坑,...
阅读全文 0

TB级mysql数据之xtrabackup压缩备份迁移方案

运维 9,529 views
开始迁移数据了,因为历史遗留的问题,又因为部门的数据统一性,多个不同的库表都在一个节点上,然后后面好多个从…..  首先看下我们数据库的大小… , 再加上一个binlog日志,会更大的….   当然对于咱们数据迁移来说,只需要把数据就可以...
阅读全文 10

TB级mysql数据之xtrabackup压缩备份迁移方案

07-15 9,529 views

开始迁移数据了,因为历史遗留的问题,又因为部门的数据统一性,多个不同的库表都在一个节点上,然后后面好多个从…..  首先看下我们数据库的大小&...
阅读全文 10

对于nginx线程池thread pool提高性能的疑惑

运维 11,922 views
这段时间其实有不少人在关注nginx线程池的功能,我也跟同事聊了下。 英文版 http://nginx.com/blog/thread-pools-boost-performance-9x/ 中文版 http://www.infoq.com/cn/articles/thread-pools-boost-performance-9x 对于nginx在1.7.1版本...
阅读全文 9

对于nginx线程池thread pool提高性能的疑惑

06-25 11,922 views

这段时间其实有不少人在关注nginx线程池的功能,我也跟同事聊了下。 英文版 http://nginx.com/blog/thread-pools-boost-performance-9x/ 中文版 ...
阅读全文 9

扯淡nginx的sendfile零拷贝的概念

运维 10,113 views
今天在看nginx thread pool的时候,频繁的看到sendfile,其实以前也经常看到sendfile,只是我平时选择性的忽视而已。。。 先说下sendfile,明天在好好聊下nginx 线程池的一些突发点, 通过伪官方的博客介绍了如何利用nginx 线程池aio,实现9倍的性能…. 个人...
阅读全文 2

扯淡nginx的sendfile零拷贝的概念

06-24 10,113 views

今天在看nginx thread pool的时候,频繁的看到sendfile,其实以前也经常看到sendfile,只是我平时选择性的忽视而已。。。 先说下sendfile,明天在好好聊下n...
阅读全文 2

使用kafka扩展python logging集中式日志收集

运维 11,718 views
昨天跟你朋友聊了下他们的日志收集及实时的触发报警,当然需要说明的是他们的环境不大,一个小创业公司,开发和运维的环境也相对的简单干练… …  他们没有用到elk这样的日志收集方案,是直接修改了在python logging模块上加了层kafka的输出。 &nbs...
阅读全文 1

使用kafka扩展python logging集中式日志收集

06-14 11,718 views

昨天跟你朋友聊了下他们的日志收集及实时的触发报警,当然需要说明的是他们的环境不大,一个小创业公司,开发和运维的环境也相对的简单干练… …...
阅读全文 1