文章目录
- 一、什么是 bitmap
- 1-1、Bitmap 相关命令
- 二、bitmap 和 set 对比
- 2-1、数据准备
- 2-2、内存对比
- 2-3、性能对比
- 三、布隆过滤器
- 3-1、理论
- 主要作用
- 如何将数据放到过滤器内呢?
- 注意事项
- 布隆过滤器 有两个重要的参数
- 3-2、代码实现
- 3-3、Java中的hash函数
最近面试,面试官问了一个场景题,遗憾的是我没能答上来,后经老大指点,这里来做个总结。
如果微博某个大V发了一条消息,怎么统计有多少人看过了。
每一个访问记录肯定是要入库的,但页面展示的时候,我们不可能都去数据库 count 一下。最开始我说使用redis的set数据结构把用户id存进去,但这并不是一个很好的答案,因为它消耗的内存太大。
redis有一种数据结构 bitmap,在特定的数据场景下,它很适合来做这种统计,为什么说是特定的场景,下面我们来分析。
一、什么是 bitmap
Bitmap是一种精简而高效的数据结构,通过二进制位存储大规模布尔值信息,常用于快速处理用户在线状态、权限管理以及行为记录等应用场景。
可以简单把它想象成是趋于无限大的数组,只是这个数组的每个位置只能存储 1 和 0。它可以快速的统计出有多少个 1,也可以快速统计某个区间内有多少个 1。
基于此我们可以创建一个 bitmap, key就是这条消息的id,每个位置就对应一个用户,1 就表示看过。
1-1、Bitmap 相关命令
二、bitmap 和 set 对比
如果只是想统计有多少个用户访问过,且某个用户是否访问过,其实 set类型,也可以满足我们的要求,实际上我上次也是这么回答的,但结果是不对的,下面来看分析。
看一种数据结构是否好,无非是看它消耗的存储空间和运行速率,基于此我们来对比一下 bitmap 和 set的内存消耗和运行速率。
2-1、数据准备
我们以10w数据为基准来进行测试,插入数据的脚本如下
@Scheduled(fixedRate = 1000 * 60 * 60)
public void fun() {redisTemplate.setKeySerializer(new StringRedisSerializer());redisTemplate.setValueSerializer(new StringRedisSerializer());redisTemplate.setHashKeySerializer(new StringRedisSerializer());long start = System.currentTimeMillis();ValueOperations<String, Object> valueOps = redisTemplate.opsForValue();for (int i = 0; i < 100000; i++) {String uuid = UUID.randomUUID().toString();redisTemplate.opsForSet().add("set10w_uuid", uuid);redisTemplate.opsForSet().add("set10w_incr", String.valueOf(i));valueOps.setBit("bitMap10w_hash", Murmur3.hash_x86_32(uuid.getBytes(), uuid.length(), 0),true);valueOps.setBit("bitMap10w_hash_size", Math