针对redis的HyperLogLog做基数统计性能测试

Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，他不仅能做去重处理，更主要的是在海量的元素下，占用的内存空间要比redis集合要少的多，我后面有测试的结果……

在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。

但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

问题来了，什么是基数，基数估算?
就是类似集合一样，可以做大量的去除，并且可以计算总数. 基数估计就是在误差可接受的范围内，快速计算基数。他跟redis set的区别区别其实还是很大的，Hyperloglog这种类型是取不出里面的结果的，set是可以的。

在搜redis hyperloglog的时候，看到有些人在用HyperLogLog做独立的IP的统计，算是个实时计算。避免了后期需要跑mapreduce来计算网站的独立IP访问量。另外他跟同样海量数据算法的bloomfilter有些相似，都可以做海量的元素集合判断… …
还有关于基数计数方面，HyperLogLog可以有计数的。传统 BloomFilter 只能添加元素，不能对元素计数，也无法删除元素。如果把底层数组的 bit 换成 int，就可以支持计数和删除动作。每次插入元素时，将对应的 k 个 int 加一；查询时，返回 k 个 int 的最小值；删除时，将对应的 k 个 int 减一。

redis的文档上，对于hyperLogLog一共就开放了三个接口…

Redis HyperLogLog 命令
下表列出了 redis HyperLogLog 的基本命令：

序号命令及描述
1 PFADD key element [element …]
添加指定元素到 HyperLogLog 中。
2 PFCOUNT key [key …]
返回给定 HyperLogLog 的基数估算值。
3 PFMERGE destkey sourcekey [sourcekey …]
将多个 HyperLogLog 合并为一个 HyperLogLog

Redis 在 2.8.9 版本添加了 HyperLogLog 结构。如果你的版本不够的话，直接升级到redis3.0就可以了。
[ root@bj-buzz-docker05:/data/buzzMaster ]$ redis-server -v
Redis server v=2.8.4 sha=00000000:0 malloc=jemalloc-3.4.1 bits=64 build=a44a05d76f06a5d9

sudo apt-get remove redis-server
sudo apt-add-repository ppa:chris-lea/redis-server
sudo apt-get update
sudo apt-get install redis-server
[ root@bj-buzz-docker05:/data/buzzMaster ]$ redis-server -v
Redis server v=3.0.2 sha=00000000:0 malloc=jemalloc-3.6.0 bits=64 build=9a95cedf214a3630
[ root@bj-buzz-docker05:/data/buzzMaster ]$

下面是我在redis-cli的操作HyperLogLog的过程

127.0.0.1:6379> PFADD xiaorui ‘ansbile’
(integer) 1
127.0.0.1:6379> PFADD xiaorui ‘saltstack’
(integer) 1
127.0.0.1:6379> PFADD xiaorui ‘tornado’
(integer) 1
127.0.0.1:6379> PFADD xiaorui ‘python’
(integer) 1
127.0.0.1:6379> PFADD xiaorui ‘js’
(integer) 1
127.0.0.1:6379> PFCOUNT xiaorui
(integer) 5
127.0.0.1:6379> PFADD xiaorui ‘js’
(integer) 0
127.0.0.1:6379> PFCOUNT xiaorui
(integer) 5
127.0.0.1:6379>

为了更好的证明Hyperloglog和set集合的内存使用量对比，我这边用python写了个简单的脚本..

(这里的测试不是很严谨，如果在python的场景下测试，大家可以用python redis的批量接口，然后不要做这种随机串的计算..

import redis
import time
import os
from random import Random
r = redis.Redis(connection_pool=redis.BlockingConnectionPool(max_connections=15, host='127.0.0.1', port=6370))
r.ping()

def random_str(num):
    randomlength=num
    str = ''
    chars = 'AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz0123456789'
    length = len(chars) - 1
    random = Random()
    for i in range(randomlength):
        str+=chars[random.randint(0, length)]
    return str

def hyperloglog():
    start = time.time()
    for i in range(1000000):
        chars = 'AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz0123456789%s'%(str(i))
        r.pfadd('xiaorui.cc',chars)
    print time.time()-start

def test_set():
    start = time.time()
    for i in range(1000000):
        chars = 'AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz0123456789%s'%(str(i))
        r.sadd('xiaorui.cc',chars)
    print time.time()-start

test_set()

插入100w条记录进行测试，value大小在30个字符左右。

HyperLogLog的消耗时间是 135.461647034 (当然这个时间里面，是含有python计算随机字符串的消耗)

redis-cli info信息
# Memory
used_memory:831728
used_memory_human:812.23K
used_memory_rss:7475200
used_memory_peak:831728
used_memory_peak_human:812.23K
used_memory_lua:36864
mem_fragmentation_ratio:8.99
mem_allocator:jemalloc-3.6.0

set的消耗时间是 133.520848989s

# Memory
used_memory:137204320
used_memory_human:130.85M
used_memory_rss:148185088
used_memory_peak:137204320
used_memory_peak_human:130.85M
used_memory_lua:36864
mem_fragmentation_ratio:1.08
mem_allocator:jemalloc-3.6.0

我们曾经在系统中加了层bloomfilter，用来解决各种去重的问题，但是经常会遇到被系统oom的情况… python的bitmap模块不是很稳定，也有内存泄露的情况另外是对于我们这样的量级，用python来维持这样存有海量数据的结构不是很合理.. 考虑过把bloomfilter用golang或者c独立成一个api服务.. 但这开发毕竟还是有成本…. 最后我们改用了aerospike，用这种分布式的nosql来解决… 经过上面的测试，我们可以看出. redis HyperLogLog 100w条的数据，也才810K，那么1千万，1亿，十几亿？没有经过大量测试，就不扯淡了…..

大家觉得文章对你有些作用！如果想赏钱，可以用微信扫描下面的二维码，感谢!
另外再次标注博客原地址 xiaorui.cc

针对redis的HyperLogLog做基数统计性能测试

1 Response

发表评论取消回复

1 Response

发表评论 取消回复

发表评论取消回复