请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

说说golang goroutine并发时遇到死锁问题

Golang 8,192 views
Goroutine和channel是Go在“并发”方面两个核心feature。我自己在使用golang开发时会被常会被channel所困扰。废话不多说,正题开始. 那么golang的channel是什么?  简单说他可以让goroutine之间互相通信,通俗讲我可以通过channel传递信息给goroutine。 我可以通过channel来控制调度goroutine。 ...
阅读全文 0

说说golang goroutine并发时遇到死锁问题

3-04 8,192 views

Goroutine和channel是Go在“并发”方面两个核心feature。我自己在使用golang开发时会被常会被channel所困扰。废话不多说,正题开始. 那么golang的cha...
阅读全文 0

golang crontab的计划任务及定时任务使用

Golang 8,109 views
对了,最近又开始搞golang了…  记得以前在乐视的时候用golang做过些东西,后来因为种种问题不得不放弃golang。  有个功能是需要定期的执行任务,因为是跟项目内部耦合一起的,所以不适合用linux crontab来操作。  在github中找到一个热门的golang cron模块,使用很简单! 我们只需要把一堆的任务...
阅读全文 0

golang crontab的计划任务及定时任务使用

3-03 8,109 views

对了,最近又开始搞golang了…  记得以前在乐视的时候用golang做过些东西,后来因为种种问题不得不放弃golang。  有个功能是需要定期的执行...
阅读全文 0

二分查找算法实现的python bisect有序队列

python 5,809 views
今天在搜python的redis sorted set实现的时候,发现了一个名叫bisect的模块。  感觉有些意思就介绍下。  该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。 http://xiaorui.cc/2016/03/01/%E4%BA%8C%E5%88%86%E6%9F%A5%E6%89%BE%E7%AE%97%E6%B3%95%E5%AE%9E%E7%8E%B0%E7%9...
阅读全文 0

二分查找算法实现的python bisect有序队列

3-01 5,809 views

今天在搜python的redis sorted set实现的时候,发现了一个名叫bisect的模块。  感觉有些意思就介绍下。  该文章写的有些乱,欢迎来喷 ! 另外文...
阅读全文 0

解决ajax jsonp跨域请求时cookie的问题

web 7,138 views
我们知道有些场景让我们不得不跨域请求对方的http api .  我们知道ajax不仅仅能访问同域的资源,也是可以跨域请求的,也就是jsonp请求.   我这边申请一点,本人其实不怎么喜欢使用jsonp,因为对端http api会因为各种情况会出现异常,这些异常丢给后端去做反而更加的合理。  我一般会丢给后端去...
阅读全文 0

解决ajax jsonp跨域请求时cookie的问题

2-29 7,138 views

我们知道有些场景让我们不得不跨域请求对方的http api .  我们知道ajax不仅仅能访问同域的资源,也是可以跨域请求的,也就是jsonp请求.   ...
阅读全文 0

理解分布式事务的两阶段提交2pc

DB 8,400 views
前言:     这两天在尝试着看关于分布式系统中的常用协议和框架的文档,比较感兴趣的是分布式事务, 我常常会想一个场景,小明给小红汇钱的时候,如果中间悲催的出现xx问题怎么办? 我们知道可以用事务解决 ! 往往较大型网站及应用都是分布式部署的,数据库层面会拆解分库都不同的mysql服务器上。...
阅读全文 2

理解分布式事务的两阶段提交2pc

2-25 8,400 views

前言:     这两天在尝试着看关于分布式系统中的常用协议和框架的文档,比较感兴趣的是分布式事务, 我常常会想一个场景,小明给小红汇钱的时候...
阅读全文 2

闲扯mysql proxy根据时间分布式分表

DB 5,367 views
曾经有过想法用python实现一个伪mysql代理端,不求兼容mysql,只求能合理的实现数据路由。  正文开始,这段时间在尝试看kingshard代码,然后一直在思考mysql的分布式分库分表的问题。 我们知道mysql的水平分表有hash,range的时候。 而被range的字段可以是id(数字),也可以是时间段。  那么问题就来了. &...
阅读全文 0

闲扯mysql proxy根据时间分布式分表

2-24 5,367 views

曾经有过想法用python实现一个伪mysql代理端,不求兼容mysql,只求能合理的实现数据路由。  正文开始,这段时间在尝试看kingshard代码,然后一直在...
阅读全文 0

小试支持分库分表的mysql proxy服务kingshard

DB 8,029 views
这两天在调研评测Mysql Proxy服务,有360的atlas,阿里的cobar,tddl .  最让我感兴趣的还是陈非的kingshard,只因为他的分库分表最合理,有range和bash的方式。 kingshard代码比较的清晰,文档也相应的清晰,我们可以根据自己的需求扩展分库分表.   该文章写的有些乱,欢迎来喷 ! 另外文章后续不断...
阅读全文 0

小试支持分库分表的mysql proxy服务kingshard

2-22 8,029 views

这两天在调研评测Mysql Proxy服务,有360的atlas,阿里的cobar,tddl .  最让我感兴趣的还是陈非的kingshard,只因为他的分库分表最合理,有range和ba...
阅读全文 0

代码分析Python requests库中文编码问题

python 9,486 views
… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电商,那么字符集charset很容易就确认,你甚至可以单方面把encoding给固定住。 但作为舆情数据来说,他每天要抓取几十万个不同网站的敏感数据,所以这就需要我们更...
阅读全文 3

代码分析Python requests库中文编码问题

2-19 9,486 views

… Python reqeusts在作为代理爬虫节点抓取不同字符集网站时遇到的一些问题总结. 简单说就是中文乱码的问题.   如果单纯的抓取微博,微信,电...
阅读全文 3

关于python peewee的事务回滚用法

python 7,489 views
发现python peewee的资料相比sqlalchemy来说真心少呀,于是乎为了让这两个orm有竞争产生发展,我决定多写点peewee的文档.    还有一方面是官方的docs文档有些地方说的不明不白的。 虽然大部分功能都给出了样例代码,但对于有些的场景光看docs文档是不够的.  上次说了peewee ForeignKeyField外键...
阅读全文 0

关于python peewee的事务回滚用法

2-18 7,489 views

发现python peewee的资料相比sqlalchemy来说真心少呀,于是乎为了让这两个orm有竞争产生发展,我决定多写点peewee的文档.    还有一方面...
阅读全文 0

代码分析peewee ForeignKeyField外键的用法

python 8,303 views
这是新年后的第一篇文章,上班第一天还在恢复上下文的状态.   就又看了下peewee的代码。 正题开始,Mysql外键的作用我想大家都知道,外键是为了更好的约束数据保证了数据的完整性,在一定程度上杜绝了bug的产生。 插入非空值时,如果主键表中没有这个值,则不能插入。 更新记录时,value值一...
阅读全文 1

代码分析peewee ForeignKeyField外键的用法

2-16 8,303 views

这是新年后的第一篇文章,上班第一天还在恢复上下文的状态.   就又看了下peewee的代码。 正题开始,Mysql外键的作用我想大家都知道,外键是为了更...
阅读全文 1

浅谈mysql fulltext全文索引优缺点

DB,运维 8,200 views
前言, 为什么会注意到mysql的fulltext?   nima, 还是上次innodb转成tokudb引擎的事,这次alter修改表引擎的时候,提示percona tokudb是不支持fulltext索引的. 报错信息是这样的. Python #blog: xiaorui.cc mysql> alter table weixin_master.page engine=TokuDB, row_f...
阅读全文 0

浅谈mysql fulltext全文索引优缺点

2-03 8,200 views

前言, 为什么会注意到mysql的fulltext?   nima, 还是上次innodb转成tokudb引擎的事,这次alter修改表引擎的时候,提示percona tokudb是不支持fullte...
阅读全文 0

mysql从innodb到tokudb引擎时遇到的问题

运维 7,942 views
     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库里面有几个表都已经达到800G+了, 这可不是个好现象,所以我考虑把这些innodb的大表全部改成Tokudb的引擎,这样就可以省下不少的空间。       ...
阅读全文 1

mysql从innodb到tokudb引擎时遇到的问题

2-02 7,942 views

     收到微信报警说是数据库ssd盘快满了,空间还有100G了…  对于原本3.8T磁盘现在只剩下100G,麻烦事。 现在相关业务的数据库...
阅读全文 1

探讨elasticsearch tribe跨机房日志收集的实现

elasticsearch,运维 8,138 views
这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? 但这也是个好问题. 对于全网的应用日志收集,我想做过运维的朋友都了解的.  不外乎就那么几种方案,ELK, Flume, Scribe ,flutend, 自主开发的。 &nb...
阅读全文 5

探讨elasticsearch tribe跨机房日志收集的实现

2-01 8,138 views

这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? ...
阅读全文 5

使用__getitem__魔法函数实现多层嵌套字典dict

python 6,619 views
主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"xiaorui.cc"} In [16]: data['blog'] Out[16]: 'xiaorui.cc' In [17]: data['at'] -----------------------------------------------------------------...
阅读全文 0

使用__getitem__魔法函数实现多层嵌套字典dict

1-31 6,619 views

主题内容不是很好描述,就通过下面的例子来说明下我们经常遇到KeyError报错.   Python In [15]: data = {"blog":"...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

python 6,116 views
《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考虑使用zlib进行压缩,但是json针对zlib的数据序列化时会报错. 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新。 http://...
阅读全文 0

使用base64编码解决json序列化zlib压缩出现的报错

1-26 6,116 views

《使用base64编码解决json序列化zlib压缩出现的报错》 正如标题那样,我这边用python requests把网页的数据爬取下来,因为网页的源码空间有些大,所有会考...
阅读全文 0

分析requests源码解决headers无法json问题

python 7,112 views
今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量耦合调用他们的rest api,又为了kpi稳定的推进.  哥直接用tornado自己写一套完整的mock server…   文章写的不是很严谨,欢迎来喷,另外该文...
阅读全文 0

分析requests源码解决headers无法json问题

1-25 7,112 views

今又在丰富mock http接口了,由于我的开发速度太快,同事们的开发速度太慢,哈哈别打我, 他们在一定程度上拖慢了哥的大腿.  但又因为哥的接口要大量...
阅读全文 0