这两天正在做mysql到hbase的数据迁移,本人java玩不转,用的是thrift hbase的手段。 一开始写入的时候,速度居然才有100,这太闹了把。  忍无可忍也,查了下资料,别人是用java,速度基本是在1500左右。  我就纳闷了,用java速度提升最主要是有 个叫做 setautoflush的东西。 

thrift作为rpc的一个服务层,他下面调用的应该也是java的类库,为啥就没有这相关的尼 。  


最后看了下源码,里面有个buffer ,咱们调用的时候,传递一个buffer值就行了 。  如果压力源如果的话,python thrift的写入速度是可以到1k左右的。 下面的那个测试是我在hbase的模拟环境搞的,他就几台服务器组件的hbase集群,性能一般,才到700左右。 


原文: xiaorui.cc 

完成, Hbase做大数据的持久化,还是不错的。  推荐使用 !



对Python及运维开发感兴趣的朋友可以加QQ群 : 478476595 !!!
{ 2000人qq大群内有各厂大牛,常组织线上分享及沙龙,对高性能及分布式场景感兴趣同学欢迎加入该QQ群 }

另外如果大家觉得文章对你有些作用!   帮忙点击广告. 一来能刺激我写博客的欲望,二来好维护云主机的费用.
如果想赏钱,可以用微信扫描下面的二维码. 另外再次标注博客原地址  xiaorui.cc  ……   感谢!

小探python thrift通信框架的设计

上下文环境 先废话连篇,老生常谈说下Thrift 是什么?  他是个功能强大的通信协议组件,附带了各级socket服务,自成RPC服务.   我们...

阅读全文

使用nginx的stream tcp模块实现hbase的thrift负载

昨天已经发了篇文章,说 nginx1.9版本涵盖了ngx_stream_core_module的功能, ngx_stream_core_module是可以对tcp server进行负载均衡的。 不知道是官...

阅读全文

关于python使用批量方式插入hbase的性能测试

这个5 1过得有些蛋疼,没有出去旅游,原本是计划去旅游,我自己把天气预报看错了,结果导致大家都没去成清凉谷….   好在昨天跟朋友们在工体的酒...

阅读全文

发表评论