哥很是寂寞呀…    寂寞…. ….

年后负责的回溯的任务,数据已经从hbase转移到了ES里面。  替换的原因不是Hbase不行,而是 我们的回溯任务更加的适合用ES全文索引的功能。 

这块业务的逻辑,一开始不是我负责的,那哥们当时采用Hbase作为数据的存储,究其原因还是因为没地方可以放,没有太多的资源做lucene 。。。。


源Hbase的数据是很大的,将近有40T左右…. ….  存放Elasticsearch里面的话,肯定不适合单库的。 按照日期进行切分数据库,每个月为一个数据库 。

因为用户和顾问可能只会给我提供时间段和关键字,那么怎么实现跨库进行查询 。。。 我这边简单开发了一个模块,大家可以根据自己的场景进行二次修改。   


适合场景是 数据库因为量大,根据日期切分成不同的库,该模块会根据你提供的时间段,调度到不同的数据库,可扩展不同的IP地址调度……

多个业务线都会用到这个逻辑,有可能是python,或者是java ruby,为了保证通用性,在实现ES库的中心调度中加了层tornado的api,为不同client提供不同的策略。实现的方法还是有些粗糙,有时间在进一步的改进一下… …


已经把模块推送到pypi了 …. ….

https://pypi.python.org/pypi?name=Control_DB_date&version=0.1.4&:action=display

GITHUB 地址, https://github.com/rfyiamcool/Control_DB_date

原文地址是,xiaorui.cc

原文地址是,xiaorui.cc

原文地址是,xiaorui.cc



对Python及运维开发感兴趣的朋友可以加QQ群 : 478476595 !!!
{ 2000人qq大群内有各厂大牛,常组织线上分享及沙龙,对高性能及分布式场景感兴趣同学欢迎加入该QQ群 }

另外如果大家觉得文章对你有些作用!   帮忙点击广告. 一来能刺激我写博客的欲望,二来好维护云主机的费用.
如果想赏钱,可以用微信扫描下面的二维码. 另外再次标注博客原地址  xiaorui.cc  ……   感谢!

python requests response值判断

好久没写文章了,前些日子在忙活婚礼的事情.  9 2 在韩国婚礼算是完美结束了。 一生的另一半算是妥当了,心轻松了,可以放荡了.  这段时间在...

阅读全文

构建高效的python requests长连接池

前文:      最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系...

阅读全文

不要粗暴的销毁python线程

前言:     不要试图用强制方法杀掉一个python线程,这从服务设计上就存在不合理性。 多线程本用来任务的协作并发,如果你使用强制手段干掉线...

阅读全文

发表评论