这两天正在做mysql到hbase的数据迁移,本人java玩不转,用的是thrift hbase的手段。 一开始写入的时候,速度居然才有100,这太闹了把。  忍无可忍也,查了下资料,别人是用java,速度基本是在1500左右。  我就纳闷了,用java速度提升最主要是有 个叫做 setautoflush的东西。 

thrift作为rpc的一个服务层,他下面调用的应该也是java的类库,为啥就没有这相关的尼 。  


最后看了下源码,里面有个buffer ,咱们调用的时候,传递一个buffer值就行了 。  如果压力源如果的话,python thrift的写入速度是可以到1k左右的。 下面的那个测试是我在hbase的模拟环境搞的,他就几台服务器组件的hbase集群,性能一般,才到700左右。 


原文: xiaorui.cc 

完成, Hbase做大数据的持久化,还是不错的。  推荐使用 !



对Python及运维开发感兴趣的朋友可以加QQ群 : 478476595 !!!
{ 2000人qq大群内有各厂大牛,常组织线上分享及沙龙,对高性能及分布式场景感兴趣同学欢迎加入该QQ群 }

另外如果大家觉得文章对你有些作用!   帮忙点击广告. 一来能刺激我写博客的欲望,二来好维护云主机的费用.
如果想赏钱,可以用微信扫描下面的二维码. 另外再次标注博客原地址  xiaorui.cc  ……   感谢!
暂无相关产品