今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是后时候堵塞在insert动作。 我推荐他用deque。今天宅了一天,写了个hadoop pig的脚本,可以很容易的得出以前需要手写mapreduce的结果集合。 虽然pig的语法看起来简单,但是他毕竟是个新语法, 文档也不是太丰富 。这两天我再出个pig的简易教程,让大家也享受下pig(猪)的乐趣。O(∩_∩)O~

不扯了,话说 双端队列(deque)是一种支持向两端高效地插入数据、支持随机访问的容器。


其内部实现原理如下:

双端队列的数据被表示为一个分段数组,容器中的元素分段存放在一个个大小固定的数组中,此外容器还需要维护一个存放这些数组首地址的索引数组 ,简单的理解,你可以想成一个大的array,分拆成几段,然后主要维护一个索引表。 大家看了下面的图应该就理解了。 



deque的语法很是简单,一看就懂,只是rorate乍一看搞不明白。 


deque有些不错的方法,用起来挺实用的,最少对我来说,是有用的。 

[指定大小,像queue]

[可以快速的做数据切割]


记得以前做统计的时候,有个api做接受数据,然后存入队列里面。当时也没用redis,毕竟有网络io的效果,就用deque来搞的。 16个线程,一块做的调度,怕会出现数据安全的问题,经过测试。 在多线程下,deque双端队列是安全的,大家可以放心搞。 

这个文章的原文是在 http://blog.xiaorui.cc ,我的文章总是被爬来爬去的。

下面是一个deque 、queue、list的性能对比,如果只是单纯的任务队列的话,又不太涉及对比,是否存在,remove的动作,那用deque再适合不过了。  


结果和我想的一样,deque很快,Queue也算可以,但是Queue只能做put,put的方向是不能指定的。list单纯的append算是不错的,但是如果你的应用有那种优先级的逻辑,那这样的话,你需要往前插入,用insert(0,item) 。 insert这个把item值插入到第0位,但是后面的那堆索引值,都要+1的。  这个负担可不小呀。 

Deque的缺点就是remove还有判断获取索引的时候,速度有些慢, 因为他需要执行多遍deque相关联的数据块 。不像list那样,搞一遍就行。 




对Python及运维开发感兴趣的朋友可以加QQ群 : 478476595 !!!
{ 2000人qq大群内有各厂大牛,常组织线上分享及沙龙,对高性能及分布式场景感兴趣同学欢迎加入该QQ群 }

另外如果大家觉得文章对你有些作用!   帮忙点击广告. 一来能刺激我写博客的欲望,二来好维护云主机的费用.
如果想赏钱,可以用微信扫描下面的二维码. 另外再次标注博客原地址  xiaorui.cc  ……   感谢!
暂无相关产品