python实现获取根据日期时间切分的数据库的调度信息

哥很是寂寞呀…    寂寞…. ….

年后负责的回溯的任务,数据已经从hbase转移到了ES里面。  替换的原因不是Hbase不行,而是 我们的回溯任务更加的适合用ES全文索引的功能。 

这块业务的逻辑,一开始不是我负责的,那哥们当时采用Hbase作为数据的存储,究其原因还是因为没地方可以放,没有太多的资源做lucene 。。。。


源Hbase的数据是很大的,将近有40T左右…. ….  存放Elasticsearch里面的话,肯定不适合单库的。 按照日期进行切分数据库,每个月为一个数据库 。

因为用户和顾问可能只会给我提供时间段和关键字,那么怎么实现跨库进行查询 。。。 我这边简单开发了一个模块,大家可以根据自己的场景进行二次修改。   


适合场景是 数据库因为量大,根据日期切分成不同的库,该模块会根据你提供的时间段,调度到不同的数据库,可扩展不同的IP地址调度……

多个业务线都会用到这个逻辑,有可能是python,或者是java ruby,为了保证通用性,在实现ES库的中心调度中加了层tornado的api,为不同client提供不同的策略。实现的方法还是有些粗糙,有时间在进一步的改进一下… …


已经把模块推送到pypi了 …. ….

https://pypi.python.org/pypi?name=Control_DB_date&version=0.1.4&:action=display

GITHUB 地址, https://github.com/rfyiamcool/Control_DB_date

原文地址是,xiaorui.cc

原文地址是,xiaorui.cc

原文地址是,xiaorui.cc


对Golang感兴趣的朋友可以加群: 278517979 !!!
另外如果大家觉得文章对你有些作用! 如果想赏钱,可以用微信扫描下面的二维码, 感谢!
另外再次标注博客原地址  xiaorui.cc

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">