关于Percona tokudb引擎的主从复制同步文档

DB 7,042 views
mysql的tokudb引擎可以解决数据库占用硬盘空间大的问题,虽然舍弃了部分的读写应能,但因为我们的myql磁盘都是ssd的,所以这都不是事。 tokudb有几个压缩比率,我们这边2.8个T的innodb,换用tokudb压缩db后才350G左右。 文章写的不是太严谨,后期会不断更新修改补充...
阅读全文 0

关于Percona tokudb引擎的主从复制同步文档

12-07 7,042 views

mysql的tokudb引擎可以解决数据库占用硬盘空间大的问题,虽然舍弃了部分的读写应能,但因为我们的myql磁盘都是ssd的,所以这都不是事。 tokudb有几个压缩比率,...
阅读全文 0

Elasticsearch关于nested结构query和filter查询语法

DB,elasticsearch 8,678 views
什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的,要提前定义mapping . 文章有些地方写的不严谨,后期会更新, 请查看原文链接   http:/...
阅读全文 1

Elasticsearch关于nested结构query和filter查询语法

11-25 8,678 views

什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的...
阅读全文 1

如何使用Elasticsearch groovy script脚本更新数据

DB,elasticsearch 9,411 views
今天细说一下elasticsearch的update更新功能,以及如何利用script脚本更新数据。 想要使用script脚本功能,需要在配置文件elasticsearch.yml里设置 Python script.disable_dynamic: false 1 ...
阅读全文 0

如何使用Elasticsearch groovy script脚本更新数据

11-20 9,411 views

今天细说一下elasticsearch的update更新功能,以及如何利用script脚本更新数据。 想要使用script脚本功能,需要在配置文件elasticsearch.yml里设置 ...
阅读全文 0

一次ubuntu安装MariaDB(tokudb引擎)的经过

DB,运维 6,243 views
首先说明下,为什么会有这样的事情发生? 没事测试tokudb干嘛?  我现在还有一个身份是我们组的首席DBA….  太坑爹了…   看过我以前文章的朋友知道我们数据库有多大,现在mysql innodb引擎数据在2个T左右,如果是用tokudb 300G左右。 &n...
阅读全文 0

一次ubuntu安装MariaDB(tokudb引擎)的经过

11-17 6,243 views

首先说明下,为什么会有这样的事情发生? 没事测试tokudb干嘛?  我现在还有一个身份是我们组的首席DBA….  太坑爹了…   看过我...
阅读全文 0

elasticsearch的查询器query与过滤器filter的区别

DB,elasticsearch,运维 12,701 views
很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是多么有意思。  说正题,elasticsearch的查询有两部分组成:query and filter 。  下面...
阅读全文 2

elasticsearch的查询器query与过滤器filter的区别

11-09 12,701 views

很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是...
阅读全文 2

python在高并发下在线修改表结构时异常 [mysql]

DB,python,运维 8,052 views
以前我们遇到metadata lock的问题, 当时是因为业务逻辑导致了。 现在的场景是在线修改ddl语句,确切来说就是alter修改表结构 。 我们知道直接alter修改表结构,肯定会进行锁表,业务很瘦影响的。如果想避免锁表,可以采用pt-online-schema-change的方式。 ...
阅读全文 0

python在高并发下在线修改表结构时异常 [mysql]

10-14 8,052 views

以前我们遇到metadata lock的问题, 当时是因为业务逻辑导致了。 现在的场景是在线修改ddl语句,确切来说就是alter修改表结构 。 我们知道直接alter修...
阅读全文 0

关于数据写入的etcd http api文档解释[python]

DB,etcd,python 9,393 views
上手在github提交了python gevent etcd的非阻塞模块。 正好这两天寂寞的很,打算再重写下etcd 输入更改数据这块的逻辑。 搜相关文档的时候,发现很多资料对于etcd http api写入数据描述,很是模糊片面,愣是没找到像样点的代码样式。正好趁着有时间,就...
阅读全文 1

关于数据写入的etcd http api文档解释[python]

9,393 views

上手在github提交了python gevent etcd的非阻塞模块。 正好这两天寂寞的很,打算再重写下etcd 输入更改数据这块的逻辑。 搜相关文档的时候,发现...
阅读全文 1

用gevent开发非阻塞的etcd python客户端模块

DB,etcd,python 7,733 views
起因,我这边有个服务端,是专门控制服务发现和注册功能,任务的调度都是用gevent来实现,如果直接在gevent里使用python-etcd,会发生阻塞的,gevent对于那些网络模块很是敏感。 我不打算在任务调度器里面用多线程,所以我直接自己重写个支持gevent的python e...
阅读全文 1

用gevent开发非阻塞的etcd python客户端模块

10-12 7,733 views

起因,我这边有个服务端,是专门控制服务发现和注册功能,任务的调度都是用gevent来实现,如果直接在gevent里使用python-etcd,会发生阻塞的,gevent对于那...
阅读全文 1

开源项目之python使用etcd构造分布式互斥锁

DB,etcd,python 8,900 views
    前几天跟朋友聊了下分布式互斥锁的事,我以前用过redis和zookeeper做分布式的互斥锁,但那哥们的场景下已经用了etcd,不再想引入其他的服务。 其实etcd本身也可以做成分布式互斥锁的。在coreos关于etcd文章的介绍里,就标记出etcd适合做分布式锁的特...
阅读全文 3

开源项目之python使用etcd构造分布式互斥锁

09-13 8,900 views

    前几天跟朋友聊了下分布式互斥锁的事,我以前用过redis和zookeeper做分布式的互斥锁,但那哥们的场景下已经用了etcd,不再想引入其他的服务...
阅读全文 3

使用etcd watch做服务发现监控时遇到的坑

DB,python 12,701 views
最近在公司折腾业务数据监控的事,听上面的意思,要把这监控做成部门的数据监控平台,接入各种各样的数据流监控,一听这目标,霎时间就不想继续开发了… 以前参与开发过基础的监控系统,那也是个巨坑的玩意,自从被伤过后,我有些抵触监控这玩意了… &nbs...
阅读全文 8

使用etcd watch做服务发现监控时遇到的坑

09-11 12,701 views

最近在公司折腾业务数据监控的事,听上面的意思,要把这监控做成部门的数据监控平台,接入各种各样的数据流监控,一听这目标,霎时间就不想继续开发了̷...
阅读全文 8

解决hbase跑mapreduce时遇到内存及超时问题

DB,python 7,343 views
这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化跑任务出点小问题。 今上午,自动化都解决后,又……….. 下面这是跑mapreduce回溯...
阅读全文 2

解决hbase跑mapreduce时遇到内存及超时问题

08-04 7,343 views

这两天让PM给烦死了,这边是python跑mapreduce回溯任务,已经做好平台自动化方面,但出点小问题,先前是因为数据做迁移,运行环境又有所不同,所以自动化...
阅读全文 2

针对redis的HyperLogLog做基数统计性能测试

DB 8,946 views
Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,他不仅能做去重处理,更主要的是在海量的元素下,占用的内存空间要比redis集合要少的多,我后面有测试的结果…… 在 Redis 里面,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计...
阅读全文 1

针对redis的HyperLogLog做基数统计性能测试

07-07 8,946 views

Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,他不仅能做去重处理,更主要的是在海量的元素下,占用的内存空间要比redis集合要少的多...
阅读全文 1

使用redis-trib fix命令修复redis cluster节点

DB,运维 9,039 views
Blog: http://xiaorui.cc/?p=1497 遇到个问题…. check节点的时候,会遇到下面的问题….. >>> Check for open slots… >>> Check slots coverage… [ERR] Not all 16384 slots are covered by nodes. oot@ubuntu:~# red...
阅读全文 1

使用redis-trib fix命令修复redis cluster节点

05-19 9,039 views

Blog: http://xiaorui.cc/?p=1497 遇到个问题…. check节点的时候,会遇到下面的问题….. >>> Check for open slots… ...
阅读全文 1

解决python操作redis cluster集群时遇到的问题

DB,python 11,962 views
今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issue里也看到了别人也同样遇到我这样的问题… …    提示的错误是这样的… ...
阅读全文 1

解决python操作redis cluster集群时遇到的问题

05-17 11,962 views

今天在测试redis-py-cluster的时候,遇到一个奇怪的问题…   一开始以为是python的redis cluster遇到的bug … …   在作者的issu...
阅读全文 1

通过redis-trib.rb脚本构建并增删改查redis cluster集群

DB,运维 11,646 views
首先是创建redis cluster集群.   redis-trib.rb命令我们见过吧?  咱们安装搭建redis cluster集群的时候,必用的一条命令…..  关于redis-trib操作的文章,原文链接是  http://xiaorui.cc/?p=1458    http://xiaor...
阅读全文 0

通过redis-trib.rb脚本构建并增删改查redis cluster集群

05-16 11,646 views

首先是创建redis cluster集群.   redis-trib.rb命令我们见过吧?  咱们安装搭建redis cluster集群的时候,必用的一条命令…..  ...
阅读全文 0

ubuntu安装配置redis3.0的cluster集群模式

DB,运维 11,403 views
 今天,天气不错….  出去逛了下,在咖啡店看了会美女….  休闲时,看到携程的一朋友在github关注了一个python redis cluster集群模块….  立马警醒,不能在看妹子了….  人家大周末也学习,我也要学习…. &nbs...
阅读全文 4

ubuntu安装配置redis3.0的cluster集群模式

11,403 views

 今天,天气不错….  出去逛了下,在咖啡店看了会美女….  休闲时,看到携程的一朋友在github关注了一个python redis cluster集...
阅读全文 4