这些有序的书单是来自于我的印象笔记，京东，淘宝，亚马逊及一些在线pdf阅读列表整理出来的。 整理这些书单花了不少的时间，在整理的过程中还是很有趣的, 看到一些书名时, 会回想起以前读书的场景和当时的工作生活状态. 十分有趣 . 本来是想用爬虫的方...
5-17 7,298 views
阅读全文 15
请注意，Zanblog并不支持低于IE8的浏览器，为了获得最佳效果，请下载最新的浏览器，推荐下载 Chrome
前言:
前两天一同事说 遇到一个比较奇妙的问题，说是线程下信号居然无效… 哈哈，我一听注册的信号无效，我内心就知道是怎么个一回事了。 后来经过我的快速排查，也证实了我的想法，确实由于慢系统调用引起signal无效。 在python里，这类场景常见于线程做join阻塞等待的时候...
7-19 40 views
阅读全文 0
探讨可持久化高并发队列的实现 … …
为什么会有这样的想法 ?
主流的持久化方案分两类:
实时持久化…
异步持久化…
Redis 的队列持久化是怎么实现的？
Golang nsq消息队列的持久化是怎么实现的？
...
7-14 73 views
阅读全文 0
群里有不少的朋友来回的问我一个问题。 python线程不是有gil么？ 为毛还说计数不是线程安全的么？
那么什么是原子操作？硬件的原子说的是 cpu指令集， 软件的原子可以理解为并发控制，不可被中断，加锁解决。 这也可以理解为线程安全问题。 叫法不同而已，无所谓的。。。 更多人会叫线程安全。
该...
7-09 90 views
阅读全文 0
社区不少人在谈论 golang 为毛不用trycatch模式，而采用苛刻的recovery、panic、defer组合…. 从老外那整了一个trycatch包，感觉不错，拿出来分享下…
Python
package main
import (
"reflect"
)
type TryCatch struct {
errChan ...
7-06 105 views
阅读全文 0
前两天跟同事交流了 无锁队列的问题，发现不少人对这个lock free的概念有些匮乏，这里就简单写个ringbuffer实现lock free的设计理念。 这里拿python举例子，ringbuffer其实就是个数组，单纯的数组结构肯定不能实现线程安全问题。
该文章写的有些乱，欢迎来喷 ! 另外文章后续不断更新中，请到原文地址查看更新...
6-24 147 views
阅读全文 0
通常python实现原子计数是需要加锁解决的, 我们知道，像count += 1 这种操作不是原子的。一个加法操作，本质是分成三步的：
该文章写的有些乱，欢迎来喷 ! 另外文章后续不断更新中，请到原文地址查看更新. http://xiaorui.cc/?p=4613
程序表面上来说:
Python
1...
6-20 224 views
阅读全文 0
前些日子朋友让我过去坐坐，顺便做个关于python的技术分享。话题有他们来挑选的，出了几个主题，最后定了python内存管理话题。 这次ppt做的简而易懂，图多字少，尽量少输出高大上的概念，多拓扑一些实用的概念。 我相信大家有些cpython源码的基础是可以看懂ppt的。 如果有问题，大家可以跟...
6-13 265 views
阅读全文 0
最近有看redis server的源码，想实现一个多线程的版本。在大多数场景下单个redis实例是满足需求的，但如果ops的量级过十几万，连接数超过几k，会有明显的cpu接近跑满情况。 时常会想起以前维护几百个redis实例的场景，很是痛苦… 痛苦的原因，主要因为没时间把redis服务抽象成自动化和资源化...
6-07 345 views
阅读全文 0
关于什么是cpu的亲和性的问题，大家自己去搜吧，不想在这里阐述了这讲义了。
简单说，就是让进程不要可哪跑，给定一个cpu core的范围，这样可以减少cs上下文切换后cpu cache miss的情况，节省了主存复制到cpu cache的时间。
该文章写的有些乱，欢迎来喷 ! 另外文章后续不断更新中，请到原文地址查看更新. &...
5-27 344 views
阅读全文 0
分享的主题涉及内容有:
微服务架构，微服务的演变，优缺点
服务发现设计，服务之间的调用，中间件的选择，鉴权，session，熔断，降级，限频….
缓存系统，高效的缓存，避免缓存穿透，预热
分库分表，数据路由，分库分表的索引效率，查询优化，冗余表数据
分布式事务，2pc, 3pc，消息队列解决...
5-24 322 views
阅读全文 0
闲来无事，用python3.6 aiohttp改了一个登陆系统。 不能说系统，就一个demo代码而已。
话说python3.6增了不少的特性，对于我来说比较跟兴趣的是 –with-dtrace 探针功能 和 优化压缩的dict数据结构。 官方测试有说过 python3.6的dict比先前占用内存减少25%左右，但我用2.7对比测试过大小kv，...
5-13 454 views
阅读全文 0
五一期间去韩国游玩，顺便去了朋友公司扯淡去了。 所谓的扯淡，就是过去听技术分享，有python, golang, devops，docker一些话题。总的来说，技术方面跟国内还是有一些差距的。
正题开始，因为业务的各方面的强需求，我们使用了rabbitmq作为消息队列，利用rabbitmq的ack机制来确认消息的可靠性。 但是rab...
5-04 633 views
阅读全文 0
恼怒呀，一个大大的失误，让我折腾了近几个小时. 先表明下这是我自己的原因，问题体现在 linux下 ps aux 和 top 查询的cpu信息不一致导致 ！
该文章写的有些乱，欢迎来喷 ! 另外文章后续不断更新中，请到原文地址查看更新. http://xiaorui.cc/?p=4470
前因后果是这样的！ 我这边写了...
4-26 523 views
阅读全文 0
话题是，构建分布式cdn刷新预缓存遇到的坑。
cdn刷新系统由Openresty + Python开发的，使用redis做消息队列，未避免丢失信息，在设计上规避了大概率丢失消息的可能，保证了绝大数场景的消息可靠性。 现如今，该系统单机每秒可以承载7K的刷新预缓存，所有主控及分控节点加起来可以到每秒10W的刷...
4-10 615 views
阅读全文 0
前文:
最近在搞全网的CDN刷新系统，在性能调优时遇到了requests长连接的一个问题，以前关注过长连接太多造成浪费的问题，但因为系统都是分布式扩展的，针对这种各别问题就懒得改动了。 现在开发的缓存刷新系统，对于性能还是有些敏感的，我后面会给出最优的http长连接池构建方式。
该...
4-03 898 views
阅读全文 0
不啰里啰嗦了，关于leveldb、rocksdb的实现细节有兴趣的朋友自己搜搜，当然我后期会整理下leveldb的大概实现原理，我曾经花过不少心力还研究leveldb、rocksdb的设计及代码实现，受益匪浅的！ 时常会回忆起leveldb的Lsm、Memtable、SStable、Manefest、log的设计。 正是因为懂了这些原理后你才更有把握在生产环境中使用...
3-21 711 views
阅读全文 0
这段时间研究了一个基于ringbuffer的定时器设计方案，思路设计上还是相当有趣的！打算在即时通信实现心跳定时器。以前一聊高性能定时器不外乎就那么几种方法，不是二叉堆，就是epoll timerfd。 我个人感觉来说但后者更适合监听就近到期的任务，而使用ringbuffer适合任务很密集的场景，当然从技术...
3-14 775 views
阅读全文 0
前言:
前两天去菲律宾长滩岛度假去了，有段时间没有更新技术文章了。简单说说度假期间发生的事情吧，可能因为心情和身体不理想，所以也没做什么有趣的水上运动，只是在沙滩上看着大海发愣罢了，时常是一呆一上午，再一呆又一个下午。 中间有几个黑不溜秋的妹子跟我搭讪，我也实在没有心气去搭...
3-06 758 views
阅读全文 0
前言:
收到疯狂的慢查询及请求超时报警，通过metrics分析出来自mysql请求的异常，cli —> show proceslist 看到很多慢查询。 先前该sql是没有的，后面因为数据量的增长才出现了这问题。 虽然feeds表大到一个亿，但因为feeds流信息有近期热的特征，所以不是因为 innodb_buffer_poo...
2-26 784 views
阅读全文 0
前言:
不要试图用强制方法杀掉一个python线程，这从服务设计上就存在不合理性。 多线程本用来任务的协作并发，如果你使用强制手段干掉线程，那么很大几率出现意想不到的bug。 请记住一点，锁资源不会因为线程退出而释放锁资源 ！
我们可以举出两个常见的例子：
1. 有个A线程拿到了...
2-22 1,141 views
阅读全文 0