docker ulimit引起elasticsearch Too many open files报错

docker,elasticsearch,运维 4,712 views
      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前段时间我们遇到了个问题, 是由于docker容器最大文件打开数配置太小引起的,其实我们在linux本机已经配置了/...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

01-05 4,712 views

      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前...
阅读全文 0

docker下计划任务crontab的使用方法[python]

docker 11,898 views
今天聊下在docker怎么合理的使用crontab 。  一直没有注意在docker如何使用crontab计划任务,我曾经已经不能用,所以用的是dockerfile定义的启动脚本,里面含有一个while的循环逻辑。  Docker crontab的使用 , http://xiaorui.cc/?p=1875 ...
阅读全文 1

docker下计划任务crontab的使用方法[python]

08-14 11,898 views

今天聊下在docker怎么合理的使用crontab 。  一直没有注意在docker如何使用crontab计划任务,我曾经已经不能用,所以用的是dockerfile定义的启动脚...
阅读全文 1

docker运维平台之python解析Dockerfile配置

docker 4,853 views
最近有些想法,出于寂寞… 最近看docker群里不少人在写docker运维平台。 话说,我自己也有些手痒痒了,打算搞一个开源的简单的docker平台。   标注下,python解析dockerfile文件的原文地址是,http://xiaorui.cc/?p=1806 这个星期后期写...
阅读全文 0

docker运维平台之python解析Dockerfile配置

07-29 4,853 views

最近有些想法,出于寂寞… 最近看docker群里不少人在写docker运维平台。 话说,我自己也有些手痒痒了,打算搞一个开源的简单的docker平台。  ...
阅读全文 0

docker无法用exec进入容器的问题[cannot allocate memory]

docker 5,652 views
今同事小飞飞遇到一个坑爹的问题,可乐死我了….  我发现他们组docker用的量也不少,但是经常出问题….    这次是无法使用docker -it exec 进入容器。奇怪的是docker的提示是 内存无法分配,我们ps aux看了下docker的后端进程,内存已经...
阅读全文 5

docker无法用exec进入容器的问题[cannot allocate memory]

06-11 5,652 views

今同事小飞飞遇到一个坑爹的问题,可乐死我了….  我发现他们组docker用的量也不少,但是经常出问题….    这次是无法使用docker...
阅读全文 5

docker中使用logrotate对logstash日志切分和过期

docker,运维 5,175 views
昨天发现爬虫的日志太大了,居然每个容器里面,日志都大10G了。   这边的环境是docker,日志收集用的是logstash,切分用的是logrotate 。  日志超过1G之后,logstash会占用的cpu 内存会更多,要及时的清理日志,不然光是logstash的那个java进程就要卡死...
阅读全文 0

docker中使用logrotate对logstash日志切分和过期

05-26 5,175 views

昨天发现爬虫的日志太大了,居然每个容器里面,日志都大10G了。   这边的环境是docker,日志收集用的是logstash,切分用的是logrotate 。  日志...
阅读全文 0

使用iptables管理docker容器做端口映射网络

docker,运维 6,277 views
昨天写了篇文章是关于docker如何绑定静态的ip,使容器里面的ip是固定的ip地址….  另外关于绑定ip地址,我们也是可以在docker run的时候用 docker run -p ip:port:port的方式….  他其实就是调用的iptables的方法…   原文...
阅读全文 1

使用iptables管理docker容器做端口映射网络

05-20 6,277 views

昨天写了篇文章是关于docker如何绑定静态的ip,使容器里面的ip是固定的ip地址….  另外关于绑定ip地址,我们也是可以在docker run的时候用 docke...
阅读全文 1

解决docker不能绑定静态的外网固定ip的问题

docker 7,359 views
很多时候因为各种的原因,我们想让容器像虚拟机那样,被分配到固定的外网ip地址,正好今天晚上寂寞了,顺便把这个实现简单的描述下….. docker绑定外网ip的原文链接是,http://xiaorui.cc     http://xiaorui.cc/?p=1488 前...
阅读全文 0

解决docker不能绑定静态的外网固定ip的问题

05-19 7,359 views

很多时候因为各种的原因,我们想让容器像虚拟机那样,被分配到固定的外网ip地址,正好今天晚上寂寞了,顺便把这个实现简单的描述下….. docker...
阅读全文 0

定制Dockerfile实现redis cluster的docker化部署及集群管理

docker,运维 7,151 views
   我们知道redis cluster的部署是很麻烦的,如果在一台服务器启动多个redis实例的话,需要一个个的cp配置文件到指定的目录,然后一个个的修改端口及相关的信息。。。以前经常这么干。 如果采用docker后,我们可以更加方便的启动redis, 我们只需要传递端...
阅读全文 2

定制Dockerfile实现redis cluster的docker化部署及集群管理

05-17 7,151 views

   我们知道redis cluster的部署是很麻烦的,如果在一台服务器启动多个redis实例的话,需要一个个的cp配置文件到指定的目录,然后一个个的修改端...
阅读全文 2

Docker容器和主机如何互相拷贝传输文件

docker 9,074 views
上次遇到一个紧急的调整bug的事情,自己也懒得复制粘贴,看看有没有cp的参数。 结果man docker的文档居然是有复制文件到docker 容器的方式。    这篇文章里面我会把知道的方法都写出来。 这两天写了一个通用的配置文件监控重载的后端程序,...
阅读全文 1

Docker容器和主机如何互相拷贝传输文件

04-12 9,074 views

上次遇到一个紧急的调整bug的事情,自己也懒得复制粘贴,看看有没有cp的参数。 结果man docker的文档居然是有复制文件到docker 容器的方式。    ...
阅读全文 1

线上测试docker在cpu密集运算的场景下性能的表现

docker,运维开发 7,453 views
2015-08-22 补充下文档…. …. 先前这文章写的有些零散,不着调…. 今个再把文档给补充下。 题外话,我们先聊下虚拟机和docker在性能的区别.  VM是一个运行在宿主机之上的完整的操作系统,VM运行自身操作系统会占用较多的CPU、内...
阅读全文 1

线上测试docker在cpu密集运算的场景下性能的表现

03-26 7,453 views

2015-08-22 补充下文档…. …. 先前这文章写的有些零散,不着调…. 今个再把文档给补充下。 题外话,我们先聊下虚拟机和docker在...
阅读全文 1

docker强制批量删除none的image镜像

docker 13,146 views
     真是有段时间没搞Docker了,我们大部门的业务基本docker化了… …  确实是个好东西,我现在更多的是应用docker,具体的维护运维还是交给运维的朋友们… …        说正题,今天遇到的问题是...
阅读全文 15

docker强制批量删除none的image镜像

03-11 13,146 views

     真是有段时间没搞Docker了,我们大部门的业务基本docker化了… …  确实是个好东西,我现在更多的是应用docker,具体...
阅读全文 15

python使用etcd来实现配置共享及集群服务发现 【上】

docker,python 7,724 views
这两天抽了点时间研究了下现在比较火辣的etcd,网上很多的文章都是写etcd和docker的结合使用。  不说docker,咱们单独就etcd这个高可用键值来聊聊吧。  etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现。etcd是由CoreOS开发并维护...
阅读全文 1

python使用etcd来实现配置共享及集群服务发现 【上】

01-23 7,724 views

这两天抽了点时间研究了下现在比较火辣的etcd,网上很多的文章都是写etcd和docker的结合使用。  不说docker,咱们单独就etcd这个高可用键值来聊聊吧。...
阅读全文 1

通过信号解决docker启动容器后Exited退出的问题

docker 10,856 views
前言:       嗯哼,前段时间公司搞Docker的那位架构师走了,我们公司用40台实体服务器做了Docker的服务组,量级不是太大,上面的容器在600个左右。 现在被遗弃的Elasticsearch和docker是兵强接手,这大神以前是百度做底层开发的,水平很nb。。。...
阅读全文 14

通过信号解决docker启动容器后Exited退出的问题

01-09 10,856 views

前言:       嗯哼,前段时间公司搞Docker的那位架构师走了,我们公司用40台实体服务器做了Docker的服务组,量级不是太大,上面的容器在6...
阅读全文 14

用dockerfile配置生成docker image并实现容器部署

docker 6,433 views
前言:        docker有个dockerfile 是什么东西,为什么我们要用他?  简单的说:  以前咱们docker run创建一个docker容器,有时候会附带不少的参数。  比如: Python...
阅读全文 2

用dockerfile配置生成docker image并实现容器部署

09-18 6,433 views

前言:        docker有个dockerfile 是什么东西,为什么我们要用他?  简单的说:  以前咱们docker ...
阅读全文 2

docker容器跨服务器的迁移方式export和save

docker 9,796 views
前沿:         这两天把报警平台放在了docker里面跑了,但是宿主机本身性能就不好,所以导致mongodb到挂了好几次了。这次搞了一台牛逼的服务器,虽说是opentstack里面的主机,但是iops 很不错。 感谢向军同学的帮助,不...
阅读全文 0

docker容器跨服务器的迁移方式export和save

9,796 views

前沿:         这两天把报警平台放在了docker里面跑了,但是宿主机本身性能就不好,所以导致mongodb到挂了好几次了。这次搞...
阅读全文 0

使Docker提供对外服务的网络配置(桥接与端口)

docker 7,145 views
前沿:         docker 启动容器后,如何对外服务?   希望大家看了这篇文章后有些帮助。  docker的有关网络问题没怎么搞清楚,请教了下邓磊同学,感谢 ! Docker生成的容器...
阅读全文 0

使Docker提供对外服务的网络配置(桥接与端口)

7,145 views

前沿:         docker 启动容器后,如何对外服务?   希望大家看了这篇文章后有些帮助。  ...
阅读全文 0

关于docker rest api接口组件docker remote api的使用

docker 7,946 views
前提:      docker remote api 是docker自带的一个rest api 管理。      只要在配置文件里面申明下就可以了。 下面是docker remote api的官方的功能目录: Docker Remote API v1.3 ...
阅读全文 0

关于docker rest api接口组件docker remote api的使用

7,946 views

前提:      docker remote api 是docker自带的一个rest api 管理。      只要在配置文件里面申明下就可以...
阅读全文 0

使用python的docker-py实现docker的api操作

docker 7,361 views
前沿:         听同事说,以后的dba申请可能有部分走其他部门的docker ,那边貌似在搞一个类似docker的平台管理系统,据说很霸道。于是乎,我自己也想尝试写一个简单的doker管理平台。  做为起步我先搞搞docker api,docker官...
阅读全文 1

使用python的docker-py实现docker的api操作

7,361 views

前沿:         听同事说,以后的dba申请可能有部分走其他部门的docker ,那边貌似在搞一个类似docker的平台管理系统,据说...
阅读全文 1

使用saltstack和docker实现运维paas平台

docker 7,128 views
开始:        最近有些忙,换了份差事,开始搞大数据了。现在做运维朋友最常说的可能就是运维自动化,刚培训出来的小孩,也是满口的自动化管理,让你听的发蒙 。 我有时挺喜欢到阿里云,青云点来点去的,不为别的,就为了感受他的产品系...
阅读全文 1

使用saltstack和docker实现运维paas平台

08-28 7,128 views

开始:        最近有些忙,换了份差事,开始搞大数据了。现在做运维朋友最常说的可能就是运维自动化,刚培训出来的小孩,也是满口...
阅读全文 1

利用python的docker-py进行docker的api操作

docker 6,752 views
前沿:         听同事说,以后的dba申请可能有部分走其他部门的docker ,那边貌似在搞一个类似docker的平台管理系统,据说很霸道。于是乎,我自己也想尝试写一个简单的doker管理平台。  做为起步我先搞搞docker api,docker官网有个d...
阅读全文 0

利用python的docker-py进行docker的api操作

08-13 6,752 views

前沿:         听同事说,以后的dba申请可能有部分走其他部门的docker ,那边貌似在搞一个类似docker的平台管理系统,据说很霸道...
阅读全文 0

docker翻墙代理下载镜像

docker 9,292 views
一开始测试了ssh反向代理,然后配合tsocks做程序的socket v5 的代理,结果行不通,apt-get ,docker pull 都是用的http_proxy的代理。 没办法,自己就搭建了一个squid 代理。 添加http代理 在国内,pull或push的时候经常连不上docker.com(原因你懂的,或者...
阅读全文 0

docker翻墙代理下载镜像

06-28 9,292 views

一开始测试了ssh反向代理,然后配合tsocks做程序的socket v5 的代理,结果行不通,apt-get ,docker pull 都是用的http_proxy的代理。 没办法,自己就搭建...
阅读全文 0