什么是缓存穿透、缓存雪崩、缓存击穿?

 什么是缓存?

缓存就是数据交换的缓冲区,是存贮数据的临时地方,一般读写性能较高。

怎么防止缓存穿透?

缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在,这样缓存永远不会生效,这些请求都会打到数据库,给数据库带来巨大压力。

常见的解决方案有两种:

缓存空对象

客户端第一次请求是,发现数据库中数据不存在,在缓存中设置该值为空串,后面的请求中若发现缓存中存储的值为空串直接返回空串,不在查询数据库。(缓存需要设置一定时间内过期,防止数据库中有数据后缓存仍然为空。或者在插入数据时,清空缓存)

  •         优点:实现简单,维护方便
  •         缺点:额外的内存消耗,可能造成短期的不一致

    /*** 设置空值解决缓存穿透*/public Shop queryWithPassThrough(Long id){//先从redis查询商铺缓存,若存在,从redis中返回,否则查询数据库,存在写入redis,并返回String shopJson = stringRedisTemplate.opsForValue().get("cache:shop:" + id);if(StringUtils.isNotBlank(shopJson)){Shop shop = JSONUtil.toBean(shopJson, Shop.class);return shop;}//判断命中的是否为空,防止缓存穿透if(shopJson==null){ //若为null,说明redis中数据为空字符串,说明mysql数据库也没有数据return null;}//redis不存在,查询数据库Shop shop = getById(id);if(shop==null){//将空值写入redisstringRedisTemplate.opsForValue().set("cache:shop:"+id,"",30, TimeUnit.MINUTES);return null;}stringRedisTemplate.opsForValue().set("cache:shop:"+id,JSONUtil.toJsonStr(shop));return shop;}

布隆过滤

  •      优点:内存占用较少,没有多余key
  •      缺点:实现复杂、存在误判可能

其他方案:

        •增强id的复杂度,避免被猜测id规律

        •做好数据的基础格式校验

        •加强用户权限校验

        •做好热点参数的限流

为什么会出现缓存雪崩?

缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力。

解决方案:

  • 给不同的Key的TTL添加随机值
  • 利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

如何解决缓存击穿?

缓存击穿问题也叫热点Key问题,就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击。

常见的解决方案有两种:

互斥锁

 在高并发环境下,当有一个线程获得锁访问数据库时,其他线程等待。假如业务A需要获取缓存A和缓存B,而业务B需要获取缓存B和缓存A。此时业务A已经获取了缓存A的锁正在等待缓存B,而业务B获取了缓存B的锁等待缓存A,就出现了互相等待的情况,产生死锁。

        优点:没有额外的内存消耗,保证一致性,实现简单

        缺点:线程需要等待,性能受影响,可能有死锁风险

   /*** 在设置空值,已经解决缓存穿透的基础上,添加互斥锁解决缓存击穿*/public Shop queryWithMutex (Long id){//先从redis查询商铺缓存,若存在,从redis中返回,否则查询数据库,存在写入redis,并返回String shopJson = stringRedisTemplate.opsForValue().get("cache:shop:" + id);if(StringUtils.isNotBlank(shopJson)){Shop shop = JSONUtil.toBean(shopJson, Shop.class);return shop;}//判断命中的是否为空,房子缓存穿透if(shopJson==null){ //部位null,说明redis中数据为空字符串,说明mysql数据库也没有数据return null;}//redis不存在,失效缓存重建//获取互斥锁,每个店铺创建一个锁String LockKey = "lock:shop:"+id;Shop shop = null;try {boolean isLock = tryLock(LockKey);//获取锁失败,休眠重试if(!isLock){Thread.sleep(50);return queryWithMutex(id);}//获取到锁,查询数据库shop = getById(id);if(shop==null){//将空值写入redisstringRedisTemplate.opsForValue().set("cache:shop:"+id,"",30, TimeUnit.MINUTES);return null;}stringRedisTemplate.opsForValue().set("cache:shop:"+id,JSONUtil.toJsonStr(shop));}catch (InterruptedException e){throw  new RuntimeException("系统异常");}finally {//释放锁unLock(LockKey);}return shop;}/***获取锁*/private boolean tryLock(String key){Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);return BooleanUtil.isTrue(flag);}/*** 释放锁*/private void unLock(String key){stringRedisTemplate.delete(key);}

逻辑过期:

        优点:线程无需等待,性能较好

        缺点:不保证一致性,有额外内存消耗,实现复杂

//线程池 
private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);/*** 使用逻辑过期解决缓存击穿(实际上数据不会过期,故不需要考虑缓存穿透问题),使用时需要先缓存热点数据*/public Shop queryWithLogicalExpire (Long id){//先从redis查询商铺缓存,若存在,从redis中返回,否则查询数据库,存在写入redis,并返回String shopJson = stringRedisTemplate.opsForValue().get("cache:shop:" + id);//缓存中不存在,直接返回null。(热点数据,通过一般需要自行初始化到redis缓存中,一般不会出现null的情况)if(StringUtils.isBlank(shopJson)){return null;}RedisData redisData = JSONUtil.toBean(shopJson, RedisData.class);Shop shop = JSONUtil.toBean((JSONObject) redisData.getData(), Shop.class);//获取缓存数据LocalDateTime expireTime = redisData.getExpireTime();//获取缓存过期时间//判断是否过期if(expireTime.isAfter(LocalDateTime.now())){//未过期,直接返回return shop;}//过期,需要缓存重建//获取互斥锁String LockKey = "lock:shop:"+id;if(tryLock(LockKey)){//获取锁成功,开启独立线程,实现缓存重建CACHE_REBUILD_EXECUTOR.submit(() ->{//重建缓存try{this.saveShop2Redis(id,20L);}catch (Exception e){throw new RuntimeException(e);}finally {//释放锁unLock(LockKey);}});}return shop;}public void saveShop2Redis(Long id,Long expireSeconds){//查询店铺数据Shop shop = getById(id);//封装逻辑过期时间RedisData redisData = new RedisData();redisData.setData(shop);redisData.setExpireTime(LocalDateTime.now().plusMinutes(expireSeconds));//写入redisstringRedisTemplate.opsForValue().set("cache:shop:"+id,JSONUtil.toJsonStr(redisData));}/***获取锁*/private boolean tryLock(String key){Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);return BooleanUtil.isTrue(flag);}/*** 释放锁*/private void unLock(String key){stringRedisTemplate.delete(key);}

全局ID生成器

如果使用数据库自增ID就存在一些问题:

  • id的规律性太明显
  • 受单表数据量的限制

全局ID生成器,是一种在分布式系统下用来生成全局唯一ID的工具,一般要满足下列特性:

为了增加ID的安全性,我们可以不直接使用Redis自增的数值,而是拼接一些其它信息:

ID的组成部分:

  • 符号位:1bit,永远为0
  • 时间戳:31bit,以秒为单位,可以使用69
  • 序列号:32bit,秒内的计数器,支持每秒产生2^32个不同ID

Redis自增ID策略:

  • 每天一个key,方便统计订单量
  • ID构造是 时间戳 + 计数器
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;import java.time.LocalDateTime;
import java.time.ZoneOffset;
import java.time.format.DateTimeFormatter;@Component
public class RedisIdWorker {private StringRedisTemplate stringRedisTemplate;public RedisIdWorker(StringRedisTemplate stringRedisTemplate) {this.stringRedisTemplate = stringRedisTemplate;}// 2022年开始时间戳private static final long BEGIN_TIMESTAMP = 1640995200L;// 序列号位数private static final int COUNT_BITS = 32;public long nextId(String KeyPrefix) {// 1.生成时间戳LocalDateTime now = LocalDateTime.now();long nowSecond = now.toEpochSecond(ZoneOffset.UTC);long timestamp = nowSecond-BEGIN_TIMESTAMP;// 2.生成序列号String date = now.format(DateTimeFormatter.ofPattern("yyyy:MM:dd"));//自增长,返回自增序列号,key不存在会自动创建一个keylong count = stringRedisTemplate.opsForValue().increment("icr:" + KeyPrefix + ":" + date);// 3.拼接并返回// 时间戳左移32位,通过|运算,拼接序列号return timestamp << COUNT_BITS | count;}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/74559.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习在自动驾驶车辆车道检测中的应用

引言 自动驾驶技术是人工智能领域的一个前沿方向&#xff0c;而车道检测是实现自动驾驶的关键技术之一。通过识别和跟踪车道线&#xff0c;自动驾驶车辆能够保持在车道内行驶&#xff0c;提高行车安全。本文将详细介绍如何使用深度学习技术进行车道检测&#xff0c;并提供一个…

大模型如何引爆餐饮与电商行业变革

大模型如何引爆餐饮与电商行业变革&#xff1f; 一、时代背景&#xff1a;大模型重构产业逻辑的底层动力 1. 技术跃迁催生效率革命 2025年&#xff0c;大模型技术迎来"普惠临界点"。李开复在中关村论坛指出&#xff0c;大模型推理成本每年降低10倍&#xff0c;使得…

chromium魔改——绕过无限debugger反调试

在进行以下操作之前&#xff0c;请确保已完成之前文章中提到的 源码拉取及编译 部分。 如果已顺利完成相关配置&#xff0c;即可继续执行后续操作。 在浏览器中实现“无限 debugger”的反调试技术是一种常见的手段&#xff0c;用于防止他人通过开发者工具对网页进行调试或逆向…

在win11 环境下 新安装 WSL ubuntu + 换国内镜像源 + ssh + 桌面环境 + Pyhton 环境 + vim 设置插件安装

在win11 环境下 新安装 WSL ubuntu ssh gnome 桌面环境 Pyhton 环境 vim 设置插件安装 简单介绍详细流程换国内镜像源安装 ssh 桌面环境python 环境vim 设置插件安装 简单介绍 内容有点长&#xff0c;这里就先简单描述内容了。主要是快速在 Win11 搭建一个 wsl 的 linux 环…

python 命名空间与作用域 可变与不可变对象 闭包

python 命名空间与作用域 可变与不可变对象 闭包 作用域规则顺序为&#xff1a; L->E->G->B 如果变量在局部内找不到&#xff0c;便会去局部外的局部找&#xff08;例如闭包&#xff09;&#xff0c;再找不到就会去全局找&#xff0c;再找不到就去内置中找。 若要在函…

安装 TabbyAPI+Exllamav2 和 vLLM 的详细步骤

在 5090 显卡上成功安装 TabbyAPIExllamav2 和 vLLM 并非易事&#xff0c;经过一番摸索&#xff0c;我总结了以下详细步骤&#xff0c;希望能帮助大家少走弯路。 重要提示&#xff1a; 用户提供的 PyTorch 安装使用了 cu128&#xff0c;这并非标准 CUDA 版本。请根据你的系统实…

使用url-loader处理图片等资源文件

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》、《前端求职突破计划》 &#x1f35a; 蓝桥云课签约作者、…

EIP-712:类型化结构化数据的哈希与签名

1. 引言 以太坊 EIP-712: 类型化结构化数据的哈希与签名&#xff0c;是一种用于对类型化结构化数据&#xff08;而不仅仅是字节串&#xff09;进行哈希和签名 的标准。 其包括&#xff1a; 编码函数正确性的理论框架&#xff0c;类似于 Solidity 结构体并兼容的结构化数据规…

contourformer:实时的轮廓分割transformer

论文地址:https://arxiv.org/abs/2501.17688 github:https://github.com/talebolano/Contourformer 模型结构 框架建立在 D-FINE 对象检测模型之上,并将边界框的回归扩展到轮廓的回归。为了实现高效的训练,Contourformer 采用迭代方法进行轮廓变形,并引入降噪机制来加速…

【JavaScript】原型链 prototype 和 this 关键字的练习(老虎机)

这个老虎机练习主要考察JavaScript中的原型链&#xff08;prototype&#xff09;和this关键字的使用。 主要思路 创建三个轮盘&#xff08;reels&#xff09;实例&#xff1a;我们需要创建3个独立的轮盘对象&#xff0c;它们都委托&#xff08;delegate&#xff09;到基础的ree…

vue项目data functions should return an object

在vue项目中提示错误&#xff0c;data functions should return an object Message.error(err)错了&#xff0c;Message.error()是element-ui的组件&#xff0c;只能接受字符串&#xff0c;不能接受对象。 改为Message.error(err.message)就好了 我的错误是 Message.error(er…

leetcode刷题 - 数组理论基础

数组是内存空间连续存储、相同类型数据的集合。遍历方式&#xff1a;下标索引 下标&#xff1a;从 0 开始 数组的元素不能删除&#xff0c;只能覆盖 定义一维数组&#xff1a; int arr0[10]; int arr1[10] { 100, 90,80,70,60,50,40,30,20,10 }; int arr2[ ] { 100,90,80,7…

状态机思想编程练习

状态机实现LED流水灯 本次实验&#xff0c;我们将利用状态机的思想来进行Verilog编程实现一个LED流水灯&#xff0c;并通过Modelsim来进行模拟仿真&#xff0c;再到DE2-115开发板上进行验证。 ​ 首先进行主要代码的编写。 module led (input sys_clk,input sys_…

数据结构|排序算法(一)快速排序

一、排序概念 排序是数据结构中的一个重要概念&#xff0c;它是指将一组数据元素按照特定的顺序进行排列的过程&#xff0c;默认是从小到大排序。 常见的八大排序算法&#xff1a; 插入排序、希尔排序、冒泡排序、快速排序、选择排序、堆排序、归并排序、基数排序 二、快速…

如何确保MQ消息队列不丢失:Java实现与流程分析

前言 在分布式系统中&#xff0c;消息队列&#xff08;Message Queue, MQ&#xff09;是核心组件之一&#xff0c;用于解耦系统、异步处理和削峰填谷。然而&#xff0c;消息的可靠性传递是使用MQ时需要重点考虑的问题。如果消息在传输过程中丢失&#xff0c;可能会导致数据不一…

关于termux运行pc交叉编译的aarch64 elf的问题

在Linux系统上交叉编译Nim程序到Android Termux环境需要特殊处理&#xff0c;以下是详细的解决方案&#xff1a; 问题根源分析 ​​ABI不兼容​​ Android使用bionic libc而非标准glibc&#xff0c;直接编译的Linux ARM二进制无法直接运行 ​​动态链接错误​​ 默认编译会链…

为PXIe控制器配置NI Linux实时操作系统安装软件

一、升级BIOS 使用NI Linux Real-Time操作系统的PXI硬件支持页面来确定NI Linux Real-Time是否支持您的PXIe控制器&#xff0c;以及是否需要更新控制器BIOS。 按照BIOS下载页面上的“安装说明”部分安装BIOS更新。 注意&#xff1a;NI在NI 2020软件版本中删除对cRIO的Phar Lap和…

《汽车噪声控制》课程作业

作业内容 在MATLAB绘制给出单个正弦波或余弦波的时域图和频域图 绘制实测数据的时域图和频域图 图1 单个正弦波的时频图 图1 单个正弦波的时频图 % 正弦波参数设置 f0 1000; % 信号频率 1kHz Fs 16384; % 采样频率 16kHz T 0.05; % 信号持续时间 0.05秒 A 0.8; % 信号幅度…

Baklib内容中台AI技术协同应用

内容中台与AI协同创新 在数字化转型进程中&#xff0c;内容中台通过人工智能技术的深度整合&#xff0c;正重塑企业信息管理范式。以Baklib内容中台为例&#xff0c;其通过智能语义分析引擎解析用户意图&#xff0c;结合知识图谱构建技术动态关联碎片化信息&#xff0c;实现从…

压测工具开发实战篇(二)——构建侧边栏以及设置图标字体

你好&#xff0c;我是安然无虞。 文章目录 构建侧边栏QtAwesome使用调整侧边栏宽度了解: sizePolicy属性伪状态 在阅读本文之前, 有需要的老铁可以先回顾一下上篇文章: 压测工具开发(一)——使用Qt Designer构建简单界面 构建侧边栏 我们要实现类似于下面这样的侧边栏功能: …