最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务,每个业务用自己的接口,这样能稳定了不少。 

既然问题已经到这里了,就要想方设法介绍链接和频繁的获取数据,回溯任务会涉及到两个批量的任务,一个是hbase的获取网页信息的,另一个是把信息推送到

redis分析队列里面。    关于redis的长连接和批量操作已经完成,现在要改hbase的批量操作。   

看了下happybase的文档, 一个是rows  ,也就是数据的批量的get,还有一个是batch,这个是批量的操作,类似一个操作链条,相当于我把一系列的动作放到list里面,然后一次性的推到thrift执行。 

happybase 不管是文档还是对于一些异常的处理都要比原生的thrift python api 要强的。 

这里在放一个happybase的小demo ,供大家学习。 



对Python及运维开发感兴趣的朋友可以加QQ群 : 478476595 !!!
{ 2000人qq大群内有各厂大牛,常组织线上分享及沙龙,对高性能及分布式场景感兴趣同学欢迎加入该QQ群 }

另外如果大家觉得文章对你有些作用!   帮忙点击广告. 一来能刺激我写博客的欲望,二来好维护云主机的费用.
如果想赏钱,可以用微信扫描下面的二维码. 另外再次标注博客原地址  xiaorui.cc  ……   感谢!

关于python使用批量方式插入hbase的性能测试

这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒...

阅读全文

python使用happybase thrift库实现hbase的scan搜索

原文链接是在    http://xiaorui.cc  我想有些人可能不太懂python thrift scan的用法,我这边写个我自己常用的一个场景实现,查看某...

阅读全文

2则回应给“python使用happybase批量的操作hbase”

  1. AM说道:

    好牛逼!

发表评论