速了解及使用布隆过滤器

布隆过滤器

介绍

概念:是一种高效查询的数据结构

作用:判断某个元素是否在一个集合中。(但是会出现误判的情况)

实现原理

  1. 加入元素

  • 当一个元素需要加入到布隆过滤器中时,会使用一组哈希函数对该元素进行计算,得到多个哈希值。

  • 每个哈希值对应到位数组的一个特定位置,将这些位置的值设置为1。

  1. 查询元素

  • 对给定的元素再次进行相同的哈希计算,得到一组哈希值。

  • 检查位数组中对应的每个位置是否都为1。如果所有位置都是1,那么认为这个元素可能在布隆过滤器中;如果有任何一个位置不为1,那么可以确定该元素不在布隆过滤器中。

误判和不可删除

下面是一个插入元素的图:

image-20240511213606519

模拟插入:

  1. 先插入“你好”

    1. 计算“你好”的hash值

    2. 插入到2的位置

  2. 插入“hello”

    1. 计算“hello”的hash值

    2. 插入到2的位置

  • 误判:如果计算出“hello”和“你好”的hash值是一样的,这个时候就会出现误判的情况。

  • 不能删除:当发现“你好”和“hello”的值都在2位置,如果要删除“你好”的hash值在布隆过滤器中,那么“hello”也会同时被删除。

使用场景

使用在缓存穿透场景。

可以利用布隆过滤器先看看数据是否存在,再进行下一步的判断,可能可以减少很多次的数据库访问请求。

if(!bloomFilter.contains(data)){//.....
}

一般采用上述这种方式进行布隆过滤器的判断。

原因:布隆过滤器可能存在误判

  • 当布隆过滤器中不存在一个数据的时候,那么这个数据肯定不存在。

  • 当布隆过滤器存在一个数据的时候,可能这个数据还是存在的。

补充缓存穿透:

前端请求要查询一个数据,但是Redis中没有这个数据,所以要将请求打到数据库中。如果是大量请求情况,这个大的流量,可能导致数据库直接挂了。(一般可以采用布隆过滤器+分布式锁防止缓存穿透)

布隆过滤器使用

  • Guava的布隆过滤器

  • Redis实现的布隆过滤器

这里以Redis的布隆过滤器作示例:

1、引入依赖

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
​
<dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId>
</dependency>

2、配置Redis参数

spring:data:redis:host: 127.0.0.1port: 6379
#      password: 123456     #密码

3、布隆过滤器的配置类:

import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
​
/*** 布隆过滤器配置*/
@Configuration
public class RBloomFilterConfiguration {
​
​@Beanpublic RBloomFilter<String> userRegisterCachePenetrationBloomFilter(RedissonClient redissonClient) {RBloomFilter<String> cachePenetrationBloomFilter = redissonClient.getBloomFilter("xxx");cachePenetrationBloomFilter.tryInit(0, 0);return cachePenetrationBloomFilter;}
}

tryInit 有两个核心参数:

  • expectedInsertions:预估布隆过滤器存储的元素长度。

  • falseProbability:运行的误判率

这里是一个计算误判率和大小的网站:Bloom Filter Calculator

4、代码中的使用

private final RBloomFilter<String> userRegisterCachePenetrationBloomFilter;
  • add方法添加

  • contains方法判断是否存在

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/11491.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

个人模拟面试java2

文章目录 SQL如何进行优化数据库性能调优1. 性能评估2. 确定调优目标 3. 监控和分析4. 硬件和配置调优5. 数据库设计和模式优化6. 查询优化7. 并发控制8. 缓存策略9. 定期维护10. 监控和持续调优 Redis支持哪些数据类型&#xff1f;Redis如何实现持久化&#xff1f;如何解决Red…

☀️提高生产力:这10个Lambda表达式必须掌握!!!

1.使用Lambda表达式进行集合遍历 ❌ 未使用Lambda表达式: List list Arrays.aslist("apple", "banana", "orange"); for (String fruit : list) {System.out.println(fruit); }✅使用Lambda表达式: List list Arrays.aslist("apple&qu…

Dubbo为何放弃JDK SPI机制:一探究竟

引言 在当今的软件开发领域&#xff0c;随着微服务架构的普及和服务化治理的需要&#xff0c;Dubbo作为一款优秀的分布式服务框架&#xff0c;扮演着至关重要的角色。Dubbo以其强大的功能和易用性成为了众多企业和开发者的首选。然而&#xff0c;在Dubbo的设计中&#xff0c;我…

JVM调优:JVM运行时数据区详解

一、前言 Java运行时数据区域划分&#xff0c;Java虚拟机在执行Java程序时&#xff0c;将其所管理的内存划分为不同的数据区域&#xff0c;每个区域都有特定的用途和创建销毁的时间。 其中&#xff0c;有些区域在虚拟机进程启动时就存在&#xff0c;而有些区域则是随着用户线程…

CANape测量分析标定

CANape创建工程及标定 1 创建工程 1. 创建ape工程 打开CANape软件,创建新的ape工程 2.添加数据库文件 通过添加Device(确定信号源)的方式加载数据库文件 A2L:通过添加CCP、 XCP、VX1000的Device DBC:对总线报文检测 CAN CDD: 诊断功能 Diagnostic 如需导入MAP文件…

16. 封装全屏功能

<!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title>封装全屏功能</title><style>#box {…

js通过视频链接获取视频时长

js通过视频链接获取视频时长 这个函数用提供的URL创建一个新的Video元素&#xff0c;并在loadedmetadata事件被触发时解析一个带有视频持续时间的Promise。它还处理可能发生的任何错误。 注意&#xff0c;Video元素的duration属性是以秒为单位的&#xff0c;因此如果需要&…

道格拉斯普克算法(DP)的点云轮廓线简化

1、背景介绍 由于点云无法精确刻画目标对象边缘信息&#xff0c;因此常规提取的边缘点直接相连所生成的轮廓线&#xff0c;锯齿现象显著&#xff0c;与真实情况相差甚远&#xff08;图b所示&#xff09;。 道格拉斯-普克&#xff08;Douglas-Peuker&#xff09;抽稀算法是用来对…

【数据库系统工程师】2024年5月考前最后冲刺指南

一、备考关键&#xff1a; 高效率的备考方式&#xff1a;多轮迭代学习 △ 基础阶段 △ 大面积撒网(60%) 略读&#xff0d;> 做题 &#xff0d;> 回顾 &#xff0d;> 精读 △ 积累阶段 △ 有针对性的突破(30%) 完成所有章节之后&#xff0c;进行真题测试&#x…

爬取深圳2024年链家二手房数据,共3000条数据(其他城市也可)

文章目录 专栏导读1.目标2.导入相关库3.获取每个二手房的链接4.获取每个链接中的相关数据5.保存数据6.数据展示 专栏导读 ✍ 作者简介&#xff1a;i阿极&#xff0c;CSDN 数据分析领域优质创作者&#xff0c;专注于分享python数据分析领域知识。 ✍ 本文录入于《python网络爬虫…

鲜活很有感染力的女生图片_活力满满有生命力女生图片

鲜活很有感染力的女生图片_活力满满有生命力女生图片

[力扣题解]63. 不同路径 II

题目&#xff1a;63. 不同路径 II 思路 动态规划 预处理有点多&#xff1b; 代码 // f[i][j] : 从起点到[i][j]有多少种路径 // f[i][j] f[i-1][j] f[i][j-1], 如果来的路上有障碍物, 0不影响结果 // 最左边一列&#xff0c;最上边一行为 1, 有障碍物为 0; // i: 0->m…

公有云Linux模拟UDP端口并抓包

目录 写在前面操作步骤服务端开启UDP端口并监听客户端连接Wireshark抓包查看 写在前面 关于具体的操作&#xff0c;请参考我的上一篇文章 公有云Linux模拟TCP三次挥手与四次握手&#xff08;Wireshark抓包验证版&#xff09; 在本文&#xff0c;仅介绍与上一篇不同的地方。 操…

接口的幂等性

为什么要保证接口幂等性 由于网络延迟、超时、重试等因素&#xff0c;可能会导致客户端多次发送相同的请求。 通过保证接口的幂等性&#xff0c;无论客户端发送多少次相同的请求&#xff0c;服务器端都会保持相同的状态变化&#xff0c;从而确保系统的稳定性和数据的一致性。 …

R语言:GSEA分析

#安装软件包 > if (!requireNamespace("BiocManager", quietly TRUE)) install.packages("BiocManager") > BiocManager::install("limma") > BiocManager::install("org.Hs.eg.db") > BiocManager::install("…

【算法刨析】完全背包

完全背包与01背包的区别 01背包对于一个物品只能选择一次&#xff0c;但是完全背包可以选择任意次&#xff1b; 思路 和01背包类似&#xff0c;01背包我们只需要判断选或不选&#xff0c;完全背包也是如此&#xff0c;不同的是&#xff0c;对于这个物品我们在判断选后在增加一…

【送书福利第七期】你好!Java(文末送书)

文章目录 编辑推荐内容简介作者简介目录前言/序言 编辑推荐 适读人群 &#xff1a;程序员;相关院校师生 本书以轻松幽默的语言&#xff0c;从零开始介绍Java语言。书名来源于编程语言中最经典的Hello World程序&#xff0c;寓意带读者从入门到精通。 书中每章都设有总结与扩展…

SCT2120Q:2.8V-5.5Vin2A同步降压转换器

特点&#xff1a; 符合汽车应用的要求AEC-Q100符合以下结果&#xff1a;-设备温度等级1:-40C至125C环境工作温度范围 -器件HBM ESD分类等级H2 -器件CDM静电放电分类等级C3B 输入电压范围:2.8 V至5.5 V 峰值输出电流高达2A 低关断电流0.05uA 低静态工作电流:38uA 0.6V反馈参考电…

vue3延迟加载(异步组件​)defineAsyncComponent

最简单用法 Index.vue: <script setup> import { onMounted, defineAsyncComponent } from vue import ./index.cssconst Child defineAsyncComponent(() > import(./Child.vue))onMounted(() > {}) </script><template><div class"m-home-w…

Linux学习笔记4

书接上文&#xff0c;我们上两篇在讲建立最小Linux系统时要创建的几个脚本&#xff0c;接下来我们继续说一下 建立最小系统之创建文件系统所需文件&#xff08;续&#xff09; 之后我们返回etc目录&#xff0c;再返回system目录&#xff0c;接着使用“cd lib”命令进入到lib …