记一次压测引起的nginx负载均衡性能调优

运维 4,690 views
     这边有个性能要求极高的api要上线,这个服务端是golang http模块实现的。在上线之前我们理所当然的要做压力测试。起初是 “小白同学” 起头进行压力测试,但当我看到那压力测试的结果时,我也是逗乐了。   现象是,直接访问Golang http api...
阅读全文 0

记一次压测引起的nginx负载均衡性能调优

06-26 4,690 views

     这边有个性能要求极高的api要上线,这个服务端是golang http模块实现的。在上线之前我们理所当然的要做压力测试。起初是 “小白同学” ...
阅读全文 0

技术分享之《cdn的设计原理及架构》

python,技术分享,运维 4,332 views
      这次公司大队人马去乌镇庆祝十周年,过程结果都很happy,抽奖还中了人民币,这运气没的说呀。 在乌镇西栅的小河边,我们量子团队一边聊MM,一边聊cdn的东西,很是happy。 同事们都是纯开发出身,对于运维的基础架构没有深入了解过。 在同事的...
阅读全文 6

技术分享之《cdn的设计原理及架构》

06-21 4,332 views

      这次公司大队人马去乌镇庆祝十周年,过程结果都很happy,抽奖还中了人民币,这运气没的说呀。 在乌镇西栅的小河边,我们量子团队一边...
阅读全文 6

理解linux网络的tcp超时和重传

内核,运维 3,753 views
       怎么突然会说起这么底层的话题, 这两天跟小白同学聊了GO服务端开发的事情,重点在于tcp重传个超时的事情。 有不少写服务端的人,包括我自己很多时候都直接调用tcp的框架写业务。 因为socket本身就屏蔽了tcp协议的事务,让我们更专注于...
阅读全文 1

理解linux网络的tcp超时和重传

06-05 3,753 views

       怎么突然会说起这么底层的话题, 这两天跟小白同学聊了GO服务端开发的事情,重点在于tcp重传个超时的事情。 有不少写服务端的...
阅读全文 1

探索mysql和redis主从复制的实现原理

DB,运维 5,961 views
前几天跟同事聊了下常见数据库的主从复制是怎么个原理。 另外对于redis的主从数据同步颇有些心得,就跟大家唠唠。 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新. http://xiaorui.cc/?p=3332 Mysql主从同...
阅读全文 4

探索mysql和redis主从复制的实现原理

05-15 5,961 views

前几天跟同事聊了下常见数据库的主从复制是怎么个原理。 另外对于redis的主从数据同步颇有些心得,就跟大家唠唠。 该文章写的有些乱,欢迎来喷...
阅读全文 4

源码分析logrotate切割日志的实现原理

运维 4,372 views
     上个月就想总结写一篇关于日志切割的文章,后来跟进了一篇python logging RotatingFileHandler的日志切割实现,今天再补充一个linux logrotate的实现原理。 有兴趣看logging RotatingFileHandler的文章,附带连接 http://xiaorui.cc...
阅读全文 3

源码分析logrotate切割日志的实现原理

05-08 4,372 views

     上个月就想总结写一篇关于日志切割的文章,后来跟进了一篇python logging RotatingFileHandler的日志切割实现,今天再补充一个linux l...
阅读全文 3

关于python捕获内核发出的sigkill信号问题

python,运维 4,711 views
The signals SIGKILL and SIGSTOP cannot be caught, blocked, or ignored. signal的sigkill信号,也就是kill -9 pid是无法在程序内部捕获的,那怎么办?你反抗不了,一般关于sigkill的日志会在/var/log/messages里,如果非deamon程序在终端也是有日志体现的。...
阅读全文 0

关于python捕获内核发出的sigkill信号问题

04-04 4,711 views

The signals SIGKILL and SIGSTOP cannot be caught, blocked, or ignored. signal的sigkill信号,也就是kill -9 pid是无法在程序内部捕获的,那怎么办...
阅读全文 0

在nginx配置cors请求的headers头部信息

运维 5,525 views
又是cors跨域… cors是啥? 就是跨域请求。对于cors这我就不多讲了,上次有一篇ajax cors cookie的文章专门描述了跨域请求出现的问题。 一朋友在群里问关于nginx cors header的问题。 趁这机会聊下nginx cors的相关配置,及非正常情况下http code的配置。 ...
阅读全文 0

在nginx配置cors请求的headers头部信息

03-07 5,525 views

又是cors跨域… cors是啥? 就是跨域请求。对于cors这我就不多讲了,上次有一篇ajax cors cookie的文章专门描述了跨域请求出现的问题。 一朋友在群...
阅读全文 0

浅谈mysql fulltext全文索引优缺点

DB,运维 5,409 views
前言, 为什么会注意到mysql的fulltext?   nima, 还是上次innodb转成tokudb引擎的事,这次alter修改表引擎的时候,提示percona tokudb是不支持fulltext索引的. 报错信息是这样的. Python #blog: xiaorui.cc mysql> alt...
阅读全文 0

浅谈mysql fulltext全文索引优缺点

02-03 5,409 views

前言, 为什么会注意到mysql的fulltext?   nima, 还是上次innodb转成tokudb引擎的事,这次alter修改表引擎的时候,提示percona tokudb是不支持fullte...
阅读全文 0

mysql从innodb到tokudb引擎时遇到的问题

运维 5,364 views
     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库里面有几个表都已经达到800G+了, 这可不是个好现象,所以我考虑把这些innodb的大表全部改成Tokudb的引擎,...
阅读全文 1

mysql从innodb到tokudb引擎时遇到的问题

02-02 5,364 views

     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库...
阅读全文 1

探讨elasticsearch tribe跨机房日志收集的实现

elasticsearch,运维 5,778 views
这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? 但这也是个好问题. 对于全网的应用日志收集,我想做过运维的朋友都了解的.  不外乎就那么几种...
阅读全文 5

探讨elasticsearch tribe跨机房日志收集的实现

02-01 5,778 views

这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? ...
阅读全文 5

Mac下安装MySQL-python模块时遇到的问题

运维 5,771 views
一个关于在mac下的python MySQLdb安装笔记,在mac下安装一些python 模块的方法有些形式上的差异. 比如python MySQLdb是需要装mysql-devel.  我Mac的Mysql server是直接dmg安装的。 所有不需要考虑太多的东西.   文章写的不是很严谨,欢迎来喷,另外...
阅读全文 0

Mac下安装MySQL-python模块时遇到的问题

01-22 5,771 views

一个关于在mac下的python MySQLdb安装笔记,在mac下安装一些python 模块的方法有些形式上的差异. 比如python MySQLdb是需要装mysql-devel.  我Mac的M...
阅读全文 0

mac下安装Mysql5.7遇到默认密码的大坑

运维 11,704 views
我本身是有丰富的centos下Mysql5.7的安装经验的,也有mac下使用brew安装5.6的经验,但没在mac下装过5.7这高版本经验…   文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/20/mac%E4%...
阅读全文 12

mac下安装Mysql5.7遇到默认密码的大坑

01-20 11,704 views

我本身是有丰富的centos下Mysql5.7的安装经验的,也有mac下使用brew安装5.6的经验,但没在mac下装过5.7这高版本经验…   文章写的不是很...
阅读全文 12

论mac使用sed修改文件的正确姿势

运维 6,029 views
业务变得复杂了,相关的代码目录也需要修改名字。 以前都是直接在centos开发机进行开发,所以没有遇到sed的问题。 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。http://xiaorui.cc/2016/01/14/%E8%AE%BAmac%E4%BD%BF%E7%94%A8s...
阅读全文 0

论mac使用sed修改文件的正确姿势

01-14 6,029 views

业务变得复杂了,相关的代码目录也需要修改名字。 以前都是直接在centos开发机进行开发,所以没有遇到sed的问题。 文章写的不是很严谨,欢迎来喷,另外...
阅读全文 0

由于未加载tokudb引起造成Mysql主从同步失败

DB,运维 5,027 views
聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做主从切换调换我都要欲仙欲死.  原本事不大,但每个库都要几个T大小. 今天原计划打算在程序里面做数据...
阅读全文 1

由于未加载tokudb引起造成Mysql主从同步失败

01-13 5,027 views

聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做...
阅读全文 1

使用vim nerdcommenter插件快速注释代码

运维 5,994 views
     我习惯用VIM来写代码,不怎么喜欢IDE。 不喜欢IDE的原因有很多,我习惯直接连接开发机用vim开发. 我们组10个人,除了同事张磊大哥(newlife)是用emas,剩下人都是用vim…  废话少说,这两天因为要把上海部门的电商分析系统从grovvy...
阅读全文 2

使用vim nerdcommenter插件快速注释代码

01-12 5,994 views

     我习惯用VIM来写代码,不怎么喜欢IDE。 不喜欢IDE的原因有很多,我习惯直接连接开发机用vim开发. 我们组10个人,除了同事张磊大哥(ne...
阅读全文 2

分享下日志里的Google镜像站点

运维 4,379 views
这两天本来要统计下博客的refer域名,结果发现有大量的google镜像站点.   主要是通过博客的nginx日志抽取出的google镜像站点.   自己在美国linode节点搭建的ss,最近不太稳定,暂时没有多余的ss服务器.    这些镜像站点还算稳定,速度也不错. ...
阅读全文 3

分享下日志里的Google镜像站点

01-11 4,379 views

这两天本来要统计下博客的refer域名,结果发现有大量的google镜像站点.   主要是通过博客的nginx日志抽取出的google镜像站点.   自己在美国linod...
阅读全文 3

从kibana迁移到grafana作为elasticsearch的前端展现

elasticsearch,运维 11,608 views
今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷. 最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志.  后来由于业务方面...
阅读全文 14

从kibana迁移到grafana作为elasticsearch的前端展现

01-07 11,608 views

今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷....
阅读全文 14

docker ulimit引起elasticsearch Too many open files报错

docker,elasticsearch,运维 5,622 views
      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前段时间我们遇到了个问题, 是由于docker容器最大文件打开数配置太小引起的,其实我们在linux本机已经配置了/...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

01-05 5,622 views

      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前...
阅读全文 0

再次理解tcp关闭连接出现time_wait的情况

运维 5,024 views
作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外我负责的电商数据抓取也会有大量的time_wait的情况.  在我接触的场景下,web服务器和主动发起请求的爬...
阅读全文 2

再次理解tcp关闭连接出现time_wait的情况

12-29 5,024 views

作为运维出身的我,原本应该对于time_wait很理解才对.   今天看到知乎上一个涉及到tcp建立连接和time_wait的时候,又有些迷糊了.  另外...
阅读全文 2

阿里云和linode新加坡节点网络速度稳定性测试

运维 6,957 views
    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的.    说正题,我的好朋友以前用过阿里云新加坡节点的,为什么说以前? 后来替换成vultr.   ...
阅读全文 2

阿里云和linode新加坡节点网络速度稳定性测试

12-28 6,957 views

    今天聊下阿里云和linode国外节点速度方面的对比,这次主要是新加坡节点。 对于阿里云我是有好感的,我现在的博客也是放在阿里云上的. &n...
阅读全文 2

通过logstash filter过滤屏蔽不需要的日志

运维 9,120 views
今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(包括垃圾日志) .   但为了精简数据需要logstash agent做日志的过滤,也就是说过滤掉不需要的日志.&nbs...
阅读全文 1

通过logstash filter过滤屏蔽不需要的日志

12-24 9,120 views

今天是12-24号,又一个平安夜,祝大家赚多多钱, 泡更美的妹子.   正题, 今天朋友问我关于elk日志过滤的问题。java程序虽然会写大量的日志(...
阅读全文 1