请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

线上mysql优化器误判引起慢查询

python 635 views
前言:      收到疯狂的慢查询及请求超时报警,通过metrics分析出来自mysql请求的异常,cli —> show proceslist 看到很多慢查询。 先前该sql是没有的,后面因为数据量的增长才出现了这问题。 虽然feeds表大到一个亿,但因为feeds流信息有近期热的特征,所以不是因为 innodb_buffer_poo...
阅读全文 0

线上mysql优化器误判引起慢查询

2-26 635 views

前言:      收到疯狂的慢查询及请求超时报警,通过metrics分析出来自mysql请求的异常,cli —> show proceslist 看到很多...
阅读全文 0

让人无语的MySQL嵌套事务

DB 988 views
      MySQL是支持嵌套事务的,但是没多少人会这么干的…. 前段时间在国外看到一些老外在争论MySQL嵌套事务的场景必要性。 逗死我了, 这嵌套的鬼畜用法还有啥场景必要性。   跟以前的dba同事聊过, 得知,在任何场景下都不要使用MySQL嵌套的事务。 那么使用MySQL嵌套事务会遇到...
阅读全文 0

让人无语的MySQL嵌套事务

1-14 988 views

      MySQL是支持嵌套事务的,但是没多少人会这么干的…. 前段时间在国外看到一些老外在争论MySQL嵌套事务的场景必要性。 逗死我了,...
阅读全文 0

为什么不建议innodb使用亿级大表

DB 1,562 views
上下文:        在Facebook上看到了一个比较新颖的mysql技术话题, 为什么不推荐在mysql下使用大表 , 或者说 什么情况下可以用大表 .     我们经常可能听到别人老生常谈过,不要让表太大…   但是大表又是怎么定义的, 多大的数据表是所谓的大表…  ...
阅读全文 1

为什么不建议innodb使用亿级大表

12-08 1,562 views

上下文:        在Facebook上看到了一个比较新颖的mysql技术话题, 为什么不推荐在mysql下使用大表 , 或者说 什么情况下可以...
阅读全文 1

关于mysql分库分表及高可用集群经验 [下]

DB,架构设计,高性能 1,733 views
承接上个话题 … …   本想是切分成上中下章节的,但实在不想过于的拖拉,索性利索点的完成该话题。   mysql分库分表话题整理的有点乱套 ,我那懒散的性格导致这文章居然没有连续性…  大家就这么将就一下吧,辛苦 !  该文章写的有些乱,欢迎来喷 ! 另外文章后续不断...
阅读全文 6

关于mysql分库分表及高可用集群经验 [下]

11-06 1,733 views

承接上个话题 … …   本想是切分成上中下章节的,但实在不想过于的拖拉,索性利索点的完成该话题。   mysql分库分表话题整理的有点乱...
阅读全文 6

关于mysql分库分表及高可用集群经验 [上]

DB,架构设计,高性能 1,893 views
    照我风格,总是喜欢聊一下让人觉得废话连篇的前言语句, 但由于最近工作和家庭的事情实在太忙,tm身心疲惫,今后也尽量少嘚嘚,直接抛开话题。     话说我个人一直都想往架构方面转,认为自己运维、运维开发、底层开发、业务开发都做过,微观和大局观总是高人一等,但事实往往不是这...
阅读全文 1

关于mysql分库分表及高可用集群经验 [上]

10-30 1,893 views

    照我风格,总是喜欢聊一下让人觉得废话连篇的前言语句, 但由于最近工作和家庭的事情实在太忙,tm身心疲惫,今后也尽量少嘚嘚,直接抛开话题...
阅读全文 1

业务开发中涉及的mysql索引问题

DB 1,618 views
    近段时间发现很多周边开发人员都不懂索引…..   比如 单独索引和联合索引的本质区别, 联合索引要注意什么?   什么时候会命中order by \ group by 索引,什么场景下不需要建立索引,一个sql语句会调用几个索引?  等等….   因为没有到一个量级,所以很多的效率问题...
阅读全文 1

业务开发中涉及的mysql索引问题

9-10 1,618 views

    近段时间发现很多周边开发人员都不懂索引…..   比如 单独索引和联合索引的本质区别, 联合索引要注意什么?   什么时候会命...
阅读全文 1

探索mysql和redis主从复制的实现原理

DB,运维 5,714 views
前几天跟同事聊了下常见数据库的主从复制是怎么个原理。 另外对于redis的主从数据同步颇有些心得,就跟大家唠唠。 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新. http://xiaorui.cc/?p=3332 Mysql主从同步: Mysql master slave是最常见的主从模式,原理...
阅读全文 4

探索mysql和redis主从复制的实现原理

5-15 5,714 views

前几天跟同事聊了下常见数据库的主从复制是怎么个原理。 另外对于redis的主从数据同步颇有些心得,就跟大家唠唠。 该文章写的有些乱,欢迎来喷...
阅读全文 4

源码分析python MySQLdb的实现细节-上

python 3,561 views
前两天因为一个服务内存泄漏的问题,让我想看看python mysql是如何实现的. 以前没注意到MySQLdb的代码实现,通过这两天的学习,还是很有收获的。 以前总是以为MySQLdb的_mysql.c很是复杂,事实上虽然也复杂了点,但基本都看的懂,_mysql.c里不含有mysql的底层协议解析及一些底层针对mysql的互动。 该文章写的有些...
阅读全文 0

源码分析python MySQLdb的实现细节-上

4-24 3,561 views

前两天因为一个服务内存泄漏的问题,让我想看看python mysql是如何实现的. 以前没注意到MySQLdb的代码实现,通过这两天的学习,还是很有收获的。 以前总是...
阅读全文 0

理解分布式事务的两阶段提交2pc

DB 4,882 views
前言:     这两天在尝试着看关于分布式系统中的常用协议和框架的文档,比较感兴趣的是分布式事务, 我常常会想一个场景,小明给小红汇钱的时候,如果中间悲催的出现xx问题怎么办? 我们知道可以用事务解决 ! 往往较大型网站及应用都是分布式部署的,数据库层面会拆解分库都不同的mysql服务器上。...
阅读全文 2

理解分布式事务的两阶段提交2pc

2-25 4,882 views

前言:     这两天在尝试着看关于分布式系统中的常用协议和框架的文档,比较感兴趣的是分布式事务, 我常常会想一个场景,小明给小红汇钱的时候...
阅读全文 2

闲扯mysql proxy根据时间分布式分表

DB 3,793 views
曾经有过想法用python实现一个伪mysql代理端,不求兼容mysql,只求能合理的实现数据路由。  正文开始,这段时间在尝试看kingshard代码,然后一直在思考mysql的分布式分库分表的问题。 我们知道mysql的水平分表有hash,range的时候。 而被range的字段可以是id(数字),也可以是时间段。  那么问题就来了. &...
阅读全文 0

闲扯mysql proxy根据时间分布式分表

2-24 3,793 views

曾经有过想法用python实现一个伪mysql代理端,不求兼容mysql,只求能合理的实现数据路由。  正文开始,这段时间在尝试看kingshard代码,然后一直在...
阅读全文 0

小试支持分库分表的mysql proxy服务kingshard

DB 5,604 views
这两天在调研评测Mysql Proxy服务,有360的atlas,阿里的cobar,tddl .  最让我感兴趣的还是陈非的kingshard,只因为他的分库分表最合理,有range和bash的方式。 kingshard代码比较的清晰,文档也相应的清晰,我们可以根据自己的需求扩展分库分表.   该文章写的有些乱,欢迎来喷 ! 另外文章后续不断...
阅读全文 0

小试支持分库分表的mysql proxy服务kingshard

2-22 5,604 views

这两天在调研评测Mysql Proxy服务,有360的atlas,阿里的cobar,tddl .  最让我感兴趣的还是陈非的kingshard,只因为他的分库分表最合理,有range和ba...
阅读全文 0

浅谈mysql fulltext全文索引优缺点

DB,运维 5,181 views
前言, 为什么会注意到mysql的fulltext?   nima, 还是上次innodb转成tokudb引擎的事,这次alter修改表引擎的时候,提示percona tokudb是不支持fulltext索引的. 报错信息是这样的. Python #blog: xiaorui.cc mysql> alter table weixin_master.page engine=TokuDB, row_for...
阅读全文 0

浅谈mysql fulltext全文索引优缺点

2-03 5,181 views

前言, 为什么会注意到mysql的fulltext?   nima, 还是上次innodb转成tokudb引擎的事,这次alter修改表引擎的时候,提示percona tokudb是不支持fullte...
阅读全文 0

mysql从innodb到tokudb引擎时遇到的问题

运维 5,170 views
     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库里面有几个表都已经达到800G+了, 这可不是个好现象,所以我考虑把这些innodb的大表全部改成Tokudb的引擎,这样就可以省下不少的空间。       ...
阅读全文 1

mysql从innodb到tokudb引擎时遇到的问题

2-02 5,170 views

     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库...
阅读全文 1

mac下安装Mysql5.7遇到默认密码的大坑

运维 11,401 views
我本身是有丰富的centos下Mysql5.7的安装经验的,也有mac下使用brew安装5.6的经验,但没在mac下装过5.7这高版本经验…   文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://xiaorui.cc/2016/01/20/mac%E4%B8%8B%E5%AE%89%E8%A3%85mysql5-7%E9%81%87%E5%88%B0%...
阅读全文 12

mac下安装Mysql5.7遇到默认密码的大坑

1-20 11,401 views

我本身是有丰富的centos下Mysql5.7的安装经验的,也有mac下使用brew安装5.6的经验,但没在mac下装过5.7这高版本经验…   文章写的不是很...
阅读全文 12

由于未加载tokudb引起造成Mysql主从同步失败

DB,运维 4,913 views
聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做主从切换调换我都要欲仙欲死.  原本事不大,但每个库都要几个T大小. 今天原计划打算在程序里面做数据库主从读写分离,但发现他们的数据差异太大。 登上去...
阅读全文 1

由于未加载tokudb引起造成Mysql主从同步失败

1-13 4,913 views

聊聊,由于未加载tokudb引起造成Mysql主从同步失败的问题. 先听我说,我是个程序员,兼职部门的Mysql DBA . 部门里有好几个Mysql主从服务,每次做...
阅读全文 1

关于Percona tokudb引擎的主从复制同步文档

DB 5,006 views
mysql的tokudb引擎可以解决数据库占用硬盘空间大的问题,虽然舍弃了部分的读写应能,但因为我们的myql磁盘都是ssd的,所以这都不是事。 tokudb有几个压缩比率,我们这边2.8个T的innodb,换用tokudb压缩db后才350G左右。 文章写的不是太严谨,后期会不断更新修改补充该文章,标注下原文地址: http://xiaorui.cc/?p=24...
阅读全文 0

关于Percona tokudb引擎的主从复制同步文档

12-07 5,006 views

mysql的tokudb引擎可以解决数据库占用硬盘空间大的问题,虽然舍弃了部分的读写应能,但因为我们的myql磁盘都是ssd的,所以这都不是事。 tokudb有几个压缩比率,...
阅读全文 0

关于使用python来实现redis和mysql的连接池

python 5,416 views
有朋友问我连接池是怎么实现的,我曾经写过一个python mysql的连接池库,他的原理就是利用python queue或则是list实现的。具体点就是一开始构造实例化对象的时候,预先在一个队列里放入指定数目的链接对象。  那么这样的话,每次我们要调用链接对象的时候,他会从链接队列里pop一个,如果这个链接对象不...
阅读全文 0

关于使用python来实现redis和mysql的连接池

11-18 5,416 views

有朋友问我连接池是怎么实现的,我曾经写过一个python mysql的连接池库,他的原理就是利用python queue或则是list实现的。具体点就是一开始构造实例化对象...
阅读全文 0

一次ubuntu安装MariaDB(tokudb引擎)的经过

DB,运维 4,534 views
首先说明下,为什么会有这样的事情发生? 没事测试tokudb干嘛?  我现在还有一个身份是我们组的首席DBA….  太坑爹了…   看过我以前文章的朋友知道我们数据库有多大,现在mysql innodb引擎数据在2个T左右,如果是用tokudb 300G左右。  上次是用centos系统的percona版tokudb安装的从库...
阅读全文 0

一次ubuntu安装MariaDB(tokudb引擎)的经过

11-17 4,534 views

首先说明下,为什么会有这样的事情发生? 没事测试tokudb干嘛?  我现在还有一个身份是我们组的首席DBA….  太坑爹了…   看过我...
阅读全文 0

体验使用mysqldb操作mysql5.7的json类型

python 5,393 views
看到推送的消息说,mysql 5.7 ga版本出来了,说是有更好的性能,对于多核CPU、固态硬盘、锁有着更好的优化。在这一版本里面,mysql也终于有了json数据结构,虽说现在还不能跟mongodb这样的文档性数据库做比拟,但这已经是关系型数据库的一大改进了。  mysql5.7 ga版本说是10 26号才发布下载地址. 那我们就先测...
阅读全文 2

体验使用mysqldb操作mysql5.7的json类型

10-21 5,393 views

看到推送的消息说,mysql 5.7 ga版本出来了,说是有更好的性能,对于多核CPU、固态硬盘、锁有着更好的优化。在这一版本里面,mysql也终于有了json数据结构,...
阅读全文 2

python在高并发下在线修改表结构时异常 [mysql]

DB,python,运维 5,960 views
以前我们遇到metadata lock的问题, 当时是因为业务逻辑导致了。 现在的场景是在线修改ddl语句,确切来说就是alter修改表结构 。 我们知道直接alter修改表结构,肯定会进行锁表,业务很瘦影响的。如果想避免锁表,可以采用pt-online-schema-change的方式。 关于在线修改表结构,原文链接  http://xiaorui...
阅读全文 0

python在高并发下在线修改表结构时异常 [mysql]

10-14 5,960 views

以前我们遇到metadata lock的问题, 当时是因为业务逻辑导致了。 现在的场景是在线修改ddl语句,确切来说就是alter修改表结构 。 我们知道直接alter修...
阅读全文 0

话说Django orm性能为什么比原生的mysqldb慢

python 6,954 views
今天同事反映了一个问题,说后台报表的页面很慢…  我当场就质疑他,肿么可能… 结果试了打开页面看了下,确实很慢.   然后就开始慢慢的排查问题…. 关于django orm性能一般,返回结果慢的问题,博文地址是 http://xiaorui.cc/?p=2048 首先确认下mysql索引问题. ...
阅读全文 3

话说Django orm性能为什么比原生的mysqldb慢

9-24 6,954 views

今天同事反映了一个问题,说后台报表的页面很慢…  我当场就质疑他,肿么可能… 结果试了打开页面看了下,确实很慢.   然后就开始慢慢...
阅读全文 3