请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

解决python操作redis cluster集群时遇到的问题

DB,python 10,987 views
今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issue里也看到了别人也同样遇到我这样的问题… …    提示的错误是这样的… 原文链接是在 http://xiaorui.cc/?p=1478   ...
阅读全文 1

解决python操作redis cluster集群时遇到的问题

5-17 10,987 views

今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issu...
阅读全文 1

定制Dockerfile实现redis cluster的docker化部署及集群管理

docker,运维 9,896 views
   我们知道redis cluster的部署是很麻烦的,如果在一台服务器启动多个redis实例的话,需要一个个的cp配置文件到指定的目录,然后一个个的修改端口及相关的信息。。。以前经常这么干。 如果采用docker后,我们可以更加方便的启动redis, 我们只需要传递端口参数,在dockerfile里定制一个entrypoint脚本,脚本...
阅读全文 2

定制Dockerfile实现redis cluster的docker化部署及集群管理

5-17 9,896 views

   我们知道redis cluster的部署是很麻烦的,如果在一台服务器启动多个redis实例的话,需要一个个的cp配置文件到指定的目录,然后一个个的修改端...
阅读全文 2

通过redis-trib.rb脚本构建并增删改查redis cluster集群

DB,运维 10,662 views
首先是创建redis cluster集群.   redis-trib.rb命令我们见过吧?  咱们安装搭建redis cluster集群的时候,必用的一条命令…..  关于redis-trib操作的文章,原文链接是  http://xiaorui.cc/?p=1458    http://xiaorui.cc redis-trib.rb 是官方出品的,是ruby开...
阅读全文 0

通过redis-trib.rb脚本构建并增删改查redis cluster集群

5-16 10,662 views

首先是创建redis cluster集群.   redis-trib.rb命令我们见过吧?  咱们安装搭建redis cluster集群的时候,必用的一条命令…..  ...
阅读全文 0

python使用redis-py-cluster操作redis cluster集群

python 10,603 views
redis3.0的集群已经搭建完了,那么开始用python来操作redis cluster集群试试,但是默认的redis模块已经是不能在使用了。  会提示下面的错误….. 关于python redis-py-cluster操作redis cluster集群原文地址 , http://xiaorui.cc/2015/05/16/python%E4%BD%BF%E7%94%A8redis-py-cluster%E6%93%8D%E4%...
阅读全文 0

python使用redis-py-cluster操作redis cluster集群

5-16 10,603 views

redis3.0的集群已经搭建完了,那么开始用python来操作redis cluster集群试试,但是默认的redis模块已经是不能在使用了。  会提示下面的错误….. ...
阅读全文 0

ubuntu安装配置redis3.0的cluster集群模式

DB,运维 10,542 views
 今天,天气不错….  出去逛了下,在咖啡店看了会美女….  休闲时,看到携程的一朋友在github关注了一个python redis cluster集群模块….  立马警醒,不能在看妹子了….  人家大周末也学习,我也要学习….    标注下,关于redis cluster配置安装...
阅读全文 4

ubuntu安装配置redis3.0的cluster集群模式

5-16 10,542 views

 今天,天气不错….  出去逛了下,在咖啡店看了会美女….  休闲时,看到携程的一朋友在github关注了一个python redis cluster集...
阅读全文 4

关于mysql授权账号权限时的空密码坑爹问题

DB 5,350 views
一下午过得很不开心,遇到一个相当的坑爹问题, 是关于mysql授权的问题….   真的是把我坑的死去活来的….    我都开始怀疑我以前的运维观了…    原文链接是,http://xiaorui.cc/?p=1440 mysql是5.7的版本,这版本是支持json的,同事用这版本做过一定的测...
阅读全文 1

关于mysql授权账号权限时的空密码坑爹问题

5-15 5,350 views

一下午过得很不开心,遇到一个相当的坑爹问题, 是关于mysql授权的问题….   真的是把我坑的死去活来的….    我都开始怀疑我以...
阅读全文 1

collectd监控性能联合influxdb grafana打造metric收集系统

DB,运维 9,835 views
这篇文章就简单的写下,如果利用 collectd influxdb grafana构建一个轻型的性能指标收集系统。  发现最近这个组合还是比较火辣的,相比 graphite  ,influxdb有更好的易用性和分布式扩展性。。   其次grafana的界面也比较cool和专业。  原文链接是在 http://xiaorui...
阅读全文 1

collectd监控性能联合influxdb grafana打造metric收集系统

5-14 9,835 views

这篇文章就简单的写下,如果利用 collectd influxdb grafana构建一个轻型的性能指标收集系统。  发现最近这个组合还是比较火辣的,相比&n...
阅读全文 1

python实现influxdb的orm对象关系映射模型

DB,python 6,936 views
对于数据库操作的时候,我个人特别的倾向于用ORM这种对象映射模型, 可以让你最舒服的操作数据库,另外也可以最简单的实现数据库…    比如我写后端服务的时候,如果用mysqldb,那么想当的蛋疼…    来来回回的折腾的,在大量的参数下,很有可能会出各种各样的低级的问题…  ...
阅读全文 0

python实现influxdb的orm对象关系映射模型

5-13 6,936 views

对于数据库操作的时候,我个人特别的倾向于用ORM这种对象映射模型, 可以让你最舒服的操作数据库,另外也可以最简单的实现数据库…    比如...
阅读全文 0

用shell开发json格式的influxdb的备份还原导出脚本

运维 7,458 views
最近有些忙,和同事搞redis集群的事情,也就有段时间没搞influxdb了。这两天有个哥们问我influxdb的备份还原,更是有甚至直接向我讨要influxdb的批量备份和还原的脚本,我暂时也没有高大上的方法…..   另外过几天把influxdb集群的相关细节分享给大家,正在整理ppt . 关于influxdb备份的原文...
阅读全文 1

用shell开发json格式的influxdb的备份还原导出脚本

5-12 7,458 views

最近有些忙,和同事搞redis集群的事情,也就有段时间没搞influxdb了。这两天有个哥们问我influxdb的备份还原,更是有甚至直接向我讨要influxdb的批量备...
阅读全文 1

python使用pydisque实现操作disque消息队列

python 6,277 views
关于disque的介绍,我这里就不多啰嗦了,以前写过disque的介绍,大家可以看看比较详细的介绍及安装. http://xiaorui.cc/?p=1402 我这边的主要开发是用python …. …. disque是个比较奇特的消息队列,东西不大,但是精而全,单纯做队列,要比redis强大的。 disque安装很是简单,直接 pip install ...
阅读全文 0

python使用pydisque实现操作disque消息队列

5-11 6,277 views

关于disque的介绍,我这里就不多啰嗦了,以前写过disque的介绍,大家可以看看比较详细的介绍及安装. http://xiaorui.cc/?p=1402 我这边的主要开...
阅读全文 0

使用Disque做分布式消息队列支持重试和ack确认

python 6,300 views
使用Disque做分布式消息队列支持重试和ack确认 …. …. 国际惯例,这里标记下文章的原文链接,   http://xiaorui.cc/?p=1402   xiaorui.cc xiaorui.cc xiaorui.cc xiaorui.cc 最近看群里有人在用Disque这个redis之父开发的一个分布式的任务消息队列。Redis现在...
阅读全文 2

使用Disque做分布式消息队列支持重试和ack确认

5-10 6,300 views

使用Disque做分布式消息队列支持重试和ack确认 …. …. 国际惯例,这里标记下文章的原文链接,   http://xiaorui.cc/?p=1402 &...
阅读全文 2

python使用redis事务时遇到multi、watch和锁的问题

python 9,364 views
前段时间也读了下python的redis库的源码,看的时候也有些跳跃和粗糙,但是基本大概的过了下…. …. 越来越发现redis很是不简单…    有时间分享下对于redis库的一些理解。  redis本身应对外部请求的是单任务的,也是多线程安全的,这个大家都应该知道的, 所以才会经常有人...
阅读全文 0

python使用redis事务时遇到multi、watch和锁的问题

5-09 9,364 views

前段时间也读了下python的redis库的源码,看的时候也有些跳跃和粗糙,但是基本大概的过了下…. …. 越来越发现redis很是不简单…  ...
阅读全文 0

python使用itertools cycle实现RR(round robin)轮询接口

python 6,377 views
说起RR (round robin)平均轮询,我想大家都知道的,常见的负载均衡服务器,比如 nginx、haproxy、lvs 都是支持轮询调度的…   公司有几个高人现着手开发公网爬虫的架构,分布式的http代理。   我这边会大量的调用他的http代理,这就用到了轮询,但是有个问题是 我的程序架构是 多进程加多线程。不...
阅读全文 3

python使用itertools cycle实现RR(round robin)轮询接口

5-07 6,377 views

说起RR (round robin)平均轮询,我想大家都知道的,常见的负载均衡服务器,比如 nginx、haproxy、lvs 都是支持轮询调度的…   公司有几个高...
阅读全文 3

使用nginx的stream tcp模块实现hbase的thrift负载

python 7,797 views
昨天已经发了篇文章,说 nginx1.9版本涵盖了ngx_stream_core_module的功能, ngx_stream_core_module是可以对tcp server进行负载均衡的。 不知道是官网针对stream的conf配置没有更新完整,还是stream本身附带的参数就不多,总觉得nginx官方出的ngx_stream_core_module模块还没有阿里出的nginx tcp proxy专业似的&...
阅读全文 3

使用nginx的stream tcp模块实现hbase的thrift负载

5-07 7,797 views

昨天已经发了篇文章,说 nginx1.9版本涵盖了ngx_stream_core_module的功能, ngx_stream_core_module是可以对tcp server进行负载均衡的。 不知道是官...
阅读全文 3

nginx1.9新模块ngx_stream_core_module实现stream tcp负载均衡

运维 10,485 views
啊哈,最近被thrift搞残了,已经各个项目要做大融合,尤其是大家的thrift都共用一个nginx前端今天又加了8个thrift,一共有28个Thrift服务了。有朋友可能怀疑需要这么多的thrift server么?    加入了….  我们已经在客户端层做了相关的优化了,比如批量put和get…  效果不是很明显̷...
阅读全文 1

nginx1.9新模块ngx_stream_core_module实现stream tcp负载均衡

5-05 10,485 views

啊哈,最近被thrift搞残了,已经各个项目要做大融合,尤其是大家的thrift都共用一个nginx前端今天又加了8个thrift,一共有28个Thrift服务了。有朋友可能怀...
阅读全文 1

python使用json web token (jwt)实现http api的加密传输

python 10,561 views
什么是json web token (jwt) , 这个一个协议安全的标准,用来保证数据的一致性及安全性的。 这次说下加jwt的非对称加密方式.   注: rsa的性能很烂… 先聊聊,咱们常用的对于http api加密的方式有哪几种?  文章的原文地址是, http://xiaorui.cc  另外还有一篇python...
阅读全文 0

python使用json web token (jwt)实现http api的加密传输

5-05 10,561 views

什么是json web token (jwt) , 这个一个协议安全的标准,用来保证数据的一致性及安全性的。 这次说下加jwt的非对称加密方式.   注: rsa的性能很...
阅读全文 0

关于python使用批量方式插入hbase的性能测试

python 6,081 views
这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒吧, 花了我2000多快,因为没有散台了,这种时候让人等到有散台会很没有意思的….  所以直接去了卡座…   拿铁酒吧的妹子不错….  ...
阅读全文 1

关于python使用批量方式插入hbase的性能测试

5-03 6,081 views

这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒...
阅读全文 1

logstash连接elasticserach时大范围连接关闭和堵塞的问题

运维 7,109 views
今天一上班朱伟就告诉我,有大量的邮件报警,是关于logstash redis队列的堆积,数目有些大,已经积攒了100w了。  很是晕头,上次其实已经遇到过这样的问题,当时因为是做了redis升级调整,以为是这个引起的,所以重启了logstash server端解决了。  后来又发生了这样的情况,也就是 logstash不工作的情况。 &...
阅读全文 3

logstash连接elasticserach时大范围连接关闭和堵塞的问题

4-30 7,109 views

今天一上班朱伟就告诉我,有大量的邮件报警,是关于logstash redis队列的堆积,数目有些大,已经积攒了100w了。  很是晕头,上次其实已经遇到过这样的...
阅读全文 3

python实现代码更新后实时自动reload机制

python 6,427 views
以前分享了一个监控到代码更新后程序自动reload的机制,当时用的是监控启动文件md5的机制。  现在换了一种方法, 用watchdog来监控文件的更新状态。  watchdog相比以前的方法,方便的实现了关于多个文件的监控,或是针对文件夹的监控…   借助于系统的inotify机制,不用像python那种费劲的一个个...
阅读全文 0

python实现代码更新后实时自动reload机制

4-28 6,427 views

以前分享了一个监控到代码更新后程序自动reload的机制,当时用的是监控启动文件md5的机制。  现在换了一种方法, 用watchdog来监控文件的更新状态。 &...
阅读全文 0

python开发支持edns扩展协议的dns服务器

python 6,482 views
恩,这两天正在看dns的东西, 对dns的edns的协议很是感兴趣….  有人估计还不知道edns是啥?  简单的来说,我们选用了google的dns地址来做dns的解析,但是如果没有扩展协议的话,我们会在之恩给你的dns层把你识别为国外的用户。 那么后来谷歌提出一个草案,并已由IETF牵头作为一个公开的标准建议,该草...
阅读全文 0

python开发支持edns扩展协议的dns服务器

4-24 6,482 views

恩,这两天正在看dns的东西, 对dns的edns的协议很是感兴趣….  有人估计还不知道edns是啥?  简单的来说,我们选用了google的dns地址来做d...
阅读全文 0

python使用happybase thrift库实现hbase的scan搜索

python 8,904 views
原文链接是在    http://xiaorui.cc  我想有些人可能不太懂python thrift scan的用法,我这边写个我自己常用的一个场景实现,查看某个列族里面以xxx开头的 …  恩, 先用happybase实现一个简单的scan,row_prefix的实现… … Python import...
阅读全文 3

python使用happybase thrift库实现hbase的scan搜索

4-22 8,904 views

原文链接是在    http://xiaorui.cc  我想有些人可能不太懂python thrift scan的用法,我这边写个我自己常用的一个场景实现,查看某...
阅读全文 3