一般面试中考察的题目通常是由三类组成的,基础面试题、进阶面试题、开放性面试题,而本文的题目则属于一个开放性的面试题,但对于 Redis 这种以数据为核心的缓存中间件来说,实现在海量数据中查询一个值是否存在还是相对比较容易的。
因为是海量数据,所以我们就无法将每个键值都存起来,然后再从结果中检索数据了,比如数据库中的 select count(1) from tablename where id='XXX',或者是使用 Redis 普通的查询方法 get XXX 等方式,我们只能依靠专门处理此问题的“特殊功能”和相关方法来实现数据的查找。
我们本文的面试题是如何在海量数据中查询一个值是否存在?
典型回答
统计一个值是否在海量数据中可以使用布隆过滤器,布隆过滤器(Bloom Filter)是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。也就是说布隆过滤器的优点就是计算和查询速度很快,但是缺点也很明显就是存在一定的误差。
在 Redis 中布隆过滤器的用法如下:
- bf.add 添加元素;
- bf.exists 判断某个元素是否存在;
- bf.madd 添加多个元素;
- bf.mexists 判断多个元素是否存在;
- bf.reserve 设置布隆过滤器的准确率。
使用示例如下:
127.0.0.1:6379> bf.add user xiaoming
(integer) 1
127.0.0.1:6379> bf.add us