老生常谈问题之什么是缓存穿透、缓存击穿、缓存雪崩?举个例子你就彻底懂了!!

老生常谈问题之什么是缓存穿透、缓存击穿、缓存雪崩?举个例子你就彻底懂了!!

    • 缓存穿透
      • 发生场景
      • 解决方案
    • 缓存击穿
      • 解决方案
    • 缓存雪崩
      • 发生场景
      • 解决方案
    • 总结
      • 三者区分
      • 三者原因
      • 三者解决方案

想象一下,你开了一家便利店,店里有各种各样的零食。

这些零食在货架上,而他们就是你店铺的“缓存”,你的仓库则相当于“数据库”。平时,当顾客来买零食时,你都会从店里的货架(缓存)拿给他,这样既快又方便。

首先,让我们来看一下最常见的缓存模式

在这里插入图片描述

有一天,你的店遇到了三种麻烦。

缓存穿透

有个顾客跑来问你:“请问你们有卖最近 香香甜甜脆脆糕 吗?”
你一下子懵了,因为你知道货架(缓存)上根本没有这种东西(数据不存在)
但顾客不死心,一直缠着你要。于是只好跑到仓库(数据库)去查一下,结果当然是没有。

这种情况就相当于“缓存穿透”,顾客的请求没有在缓存中找到,只好直接访问数据库,而数据库又没有这个数据。

如果此时有大量的顾客都冲进你小小的便利店,向你要 香香甜甜脆脆糕 ,大量的请求挤进了仓库(数据库),那你的仓库就被挤爆了!
在这里插入图片描述

发生场景

缓存穿透发生一般有两种情况

  • 业务误操作,缓存中的数据和数据库中的数据被误删了,导致数据和数据库中都没有这项数据

比如你家小朋友备着偷偷吃掉了所有的香香甜甜脆脆糕

  • 黑客恶意攻击,故意大量访问某些读取不存在的业务

比如有个老黑粗问你这里有没有 AK47自动步枪? (os:??? )

解决方案

应对缓存穿透,常见有如下四种解决方案:

  1. 非法请求限制
  2. 缓存默认值或空值
  3. 使用布隆过滤器来快速判断数据是否存在,避免通过查询数据库来判断数据是否存在
  4. 限流策略

第一种方案,非法请求限制

在便利店入口处就设置一个身份系统检测,你起码得有个合法身份!

当有大量的恶意请求访问不存在的数据的时候,也会发生缓存穿透
因此我们最好在 API 入口处就判断请求参数是否合理,比如说 请求参数是否含有非法值,请求字段是否存在,如果判断出是恶意请求就直接返回错误,避免进一步访问缓存和数据库

第二种方案,缓存默认值或空值

没有 香香甜甜脆脆糕 ,那就拿个绿豆糕给你!

针对查询的数据,在缓存中设置一个设置一个空值或者默认值,这样后续请求就可以从缓存中读取到空值或者默认值,返回给应用,而不会继续查询数据库

但是这里存在一个问题,如果攻击者每次都用不同的且不存在的 key 来请求数据,那么这个方案就会丧失它的效果,而且要回写特殊值,会浪费不少 Redis 内存,这可能会导致 Redis 内存不足,执行淘汰策略的时候,把其他有用的数据淘汰掉。

第三种方案,使用布隆过滤器

在货架(缓存)和仓库(数据库)之间放置一个智能查询机(布隆过滤器),他能快速判断数据是否存在

我们在写入数据库数据时,使用布隆过滤器做个标记,然后在用户请求到来时,业务线程确认缓存失效后,通过查询布隆过滤器快速判断数据是否存在,如果不存在,就不用通过查询数据库来判断数据是否存在了

但是,值得注意的是,布隆过滤器说数据存在,并不一定证明数据库中存在这个数据,但是查询到数据不存在,数据库中一定就不存在这个数据。这涉及到布隆过滤器的工作原理,放在以后的文章中进行讲述

第四种方案,限流策略

门口设置保安,你们这些要 香香甜甜脆脆糕 的得排队!

针对频繁请求的特定数据,可以设置限流策略, 例如使用令牌桶算法或漏桶算法,限制对这些数据的请求频率,减轻数据库的压力

缓存击穿

有一天,店里的一包薯片突然成了热门商品(热点数据),大家都想要买。但这包薯片刚好快过期了,于是你把它的货架撤下来(热点数据过期)。可是就在这时,一大群顾客蜂拥而至,每个人都想要这包薯片(大量请求访问热点数据)。你只好一个个去告诉他们:“薯片没有了,换新的了。”结果这些顾客都不信,非得一个个去仓库看有没有。这样一来,你的仓库(数据库)就被大量请求冲击,差点瘫痪。

如果缓存中的某个热点数据过期了,而此时大量的请求访问了该热点数据,就无法从缓存中读取,直接访问数据库,数据库就很容易被高并发请求冲垮

注意:缓存击穿的关注点是热点数据不存在缓存上,因为如果是普通数据,那就是正常的缓存未命中而已,反之热点数据如果没命中,就容易导致大量的请求落到了数据库上
在这里插入图片描述

解决方案

应对缓存击穿,常见有如下四种解决方案:

  1. 设置热点数据的热度时间窗口
  2. 设置缓存永不过期
  3. 使用互斥锁或者分布式锁
  4. 异步更新缓存

第一种方案,设置热点数据的热度时间窗口

零食快过期了?我直接延长你保质期!

对于热点数据,可以设置一个热度时间窗口,在这个时间窗口中,如果一个数据被频繁访问,就将其缓存时间延长,避免频繁刷新缓存导致缓存击穿

第二种方案,使用互斥锁或分布式锁

只准一个人冲进仓库去找!

保证同一时间只有一个业务线程更新缓存,未能获取到互斥锁的请求,要么等待锁释放后重新读取缓存,要么就返回空值或者默认值

实现互斥锁的时候,最好设置超时时间,不然第一个请求拿到了锁,然后这个请求发生了某种意外而一直不阻塞,一直不释放锁,这是其他请求也一直拿不到锁,整个系统就会出现无响应的现象

分布式锁的问题可以看看这篇文章:
Redis原理篇——分布式锁

第三种方案,缓存永不过期

没错,我们的食物没有保质期这一说,你见过矿泉水有保质期吗?你见过二锅头有保质期吗?

对于一些热点数据,可以将其缓存设置为永不过期,避免缓存击穿

第四种方案,异步更新缓存

专门雇了个店员,每天检查食物保质期并更换货架食物和仓库食物,不需要我操心~

不给热点数据设置过期时间,使用一个后台线程,去检测缓存是否失效,如果失效了,就去更新缓存,属于主动更新缓存的方式,相比缓存失效之后,遇到了大量请求被动更新的方式,可以避免高峰期的缓存失效而引发的性能问题

缓存雪崩

有一天,你发现货架上有一批同时进货的零食(比如说薯片,奥利奥,妙妙脆),都到了过期时间,就把他们都下架了。结果第二天,来了大量的顾客,一个要薯片,一个要奥利奥,一个要妙妙脆,然后货架(缓存)上都没有,于是全部的顾客冲进了你的仓库(数据库),直接就把你仓库(数据库)挤爆了!!

大量缓存数据在同一时间过期 或者 Redis 故障宕机(货架坏了食物也没法吃了)时,如果此时有大量的用户请求,都无法在 Redis 中处理,于是全部请求都直接访问数据库,从而导致数据库的压力骤增,严重的会造成数据库宕机,从而形成一系列连锁反应,造成整个系统崩溃,这就是缓存雪崩的问题。

发生场景

  • 场景1:缓存集中失效。比如为了双十一,将一批商品放入到缓存中,设置两小时过期,凌晨2点过期了,导致对这一批商品的访问都落到了数据库,数据库就会产生压力波峰。
  • 场景2:当然缓存雪崩一个最严重特殊情况是,在流量高峰,一个缓存节点直接出现问题,甚至扩大到缓存集群出现问题,那么就会导致本应该访问缓存的流量透传到数据库上。

解决方案

可以看到,发生缓存雪崩有两个原因:

  • 大量数据同时过期;
    在这里插入图片描述

  • Redis 故障宕机;

在这里插入图片描述

不同的诱因,应对的策略也会不同。

针对 大量数据同时过期

  1. 设置缓存数据的随机过期时间
  2. 分布式锁或互斥锁
  3. 数据预热
  4. 后台更新缓存
  5. 数据库优化

第一种方案,设置缓存数据的随机过期时间
如果要给缓存数据设置过期时间,应该避免将大量的数据设置为同一个过期时间,我们可以给缓存数据设置过期时间时,加上一个随机数,这样就保证数据不会再同一时间过渡

第二种方案,分布式锁或互斥锁
与缓存击穿一样,保证同一时间只有一个业务线程更新缓存,未能获取到互斥锁的请求,要么等待锁释放后重新读取缓存,要么就返回空值或者默认值
当然,最好设置超时时间

第三种方案,数据预热
在系统启动或者非高峰期时,提前将热点数据加载到缓存中,这样即时在高并发时,也能够从缓存中获取到数据,减轻数据库的压力

第四种方案,后台更新缓存
与缓存击穿一样,将更新缓存的工作交由后台线程定时更新

第五种方案,数据库优化
除了缓存层面的应对策略,还可以从数据库层面进行优化,如提升数据库性能、增加数据库的容量等,以应对大量请求导致的数据库压力

针对 Redis 故障宕机
针对 Redis 故障宕机而引发的缓存雪崩问题,常见的应对方法有下面这几种:

  • 服务熔断或请求限流机制
  • 构建 Redis 缓存高可靠集群

第一种方案,服务熔断或请求限流机制

一个都别进仓库了(服务熔断)! 好吧,就放几个进去哈(请求限流)!

因为 Redis 故障宕机而导致缓存雪崩问题时,我们可以启动服务熔断机制,暂停业务应用对缓存服务的访问,直接返回错误,不用再继续访问数据库,从而降低对数据库的访问压力,保证数据库系统的正常运行,然后等到 Redis 恢复正常后,再允许业务应用访问缓存服务。

服务熔断机制是保护数据库的正常允许,但是暂停了业务应用访问缓存服系统,全部业务都无法正常工作

为了减少对业务的影响,我们可以启用请求限流机制,只将少部分请求发送到数据库进行处理,再多的请求就在入口直接拒绝服务,等到 Redis 恢复正常并把缓存预热完后,再解除请求限流的机制。

第二种方案,构建 Redis 缓存高可靠集群

服务熔断或请求限流机制是缓存雪崩发生后的应对方案,我们最好通过主从节点的方式构建 Redis 缓存高可靠集群

如果 Redis 缓存的主节点故障宕机,从节点可以切换成为主节点,继续提供缓存服务,避免了由于 Redis 故障宕机而导致的缓存雪崩问题。

主从架构可以看看之前写的这篇文章哈

Redis实战篇——搭建主从复制

总结

三者区分

注意要区分好缓存穿透、缓存击穿和缓存雪崩三者之间的区别

缓存穿透,顾名思义,“穿” 了缓存,“透” 了数据库,数据既不存在缓存中,也不存在数据库中

缓存击穿,主要针对的是一个热点数据,他不存在于缓存,导致大量的请求访问数据库

缓存雪崩,主要针对的是一批热点数据,他们不存在于缓存,导致大范围的数据请求访问数据库

三者原因

缓存穿透的原因呢,一方面可能是黑客恶意攻击,另一方面可能是业务失误把数据删除

缓存击穿的原因呢,主要就是热点数据过期

缓存雪崩的原因呢,一方面可能是大量数据缓存中过期,另一方面是缓存直接宕机

三者解决方案

针对各自的原因,采取相应的方案
对于缓存穿透,可以限制非法请求回写特殊值(空值或默认值),使用布隆过滤器

对于缓存击穿
针对热点数据,可以设置过期时间延长或者直接设置为永不过期
针对缓存更新,可以在失效时使用互斥锁或者后台去更新缓存

对于缓存雪崩
针对大量数据同时过期,可以像缓存击穿一样,互斥锁后台更新缓存或者随机设置过期时间
也可以预热数据,甚至直接优化数据库
针对缓存故障,采取服务熔断或者请求限流机制,也可以直接搭建高可用集群

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/36053.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Unity3D Text使用超链接跳转事件

系列文章目录 Unity工具 文章目录 系列文章目录👉前言👉一、第一种使用TextMeshPro加入超链接👉二、继承Text组件,重载OnPopulateMesh方法👉三.壁纸分享👉总结 👉前言 有时候会用到跳转的问题,所以添加一…

基于深度学习的轮廓匹配

基于深度学习的轮廓匹配 轮廓匹配是一种用于识别和定位图像中物体的技术,通过比较图像中的轮廓与已知模板轮廓的相似度,确定目标物体的位置和形状。基于深度学习的轮廓匹配方法结合了卷积神经网络(CNN)等深度学习技术&#xff0c…

【Python机器学习实战】 | 基于支持向量机(Support Vector Machine, SVM)进行分类和回归任务分析

🎩 欢迎来到技术探索的奇幻世界👨‍💻 📜 个人主页:一伦明悦-CSDN博客 ✍🏻 作者简介: C软件开发、Python机器学习爱好者 🗣️ 互动与支持:💬评论 &…

一个AI图片生成工具导航网站

上周末上线了一个AI图片生成工具导航网站,主要是面向AI图片工具这个垂直领域。 https://chatgpt-image-generator.com/ 目标是通过收集当下的一些工具,然后进行分类管理,一方面方便大家发现新的工具,另一方面能够更加有针对性、…

华为OceanStor磁盘阵列存储恢复出厂设置命令 LUN不处于在线状态,不能执行此操作解决方案

环境 OceanStor S2600T V2老版本 客户现场有一台Oceanstor 2600 V2的存储,因和另一台磁盘扩展框做了跨设备LUN需要进行配置清除,配置结束后需要重新划分存储空间并对接服务器,保证业务能够正常上线!在清除配置回退的过程中&#…

深度学习二分类评估详细解析与代码实战

深度学习二分类的实战代码:使用 Trainer API 微调模型. https://huggingface.co/learn/nlp-course/zh-CN/chapter3/3 如果你刚接触 自然语言处理,huggingface 是你绕不过去的坎。但是目前它已经被墙了,相信读者的实力,自行解决吧。…

渗透第二次作业

cs与msf权限传递,以及mimikatz抓取win2012明文密码 1、准备三台虚拟机: 一台安装有cs的kali,网络模式为nat, 一台Win2012,有两张网卡,一张为NAT模式,一张为仅主机模式,分别对应内外网, 一台…

QT的TCP服务端与多客户端通信

目的 TCP通信可以说是最基础的东西了,也是面试经常问的问题,记得10年前,面试浪潮时,就是问的TCP连接的过程。 时间长了不用,感觉一些东西模糊了,基础的东西还是需要清晰的,而且,现在是QT的TCP,用法也有一些自己的特点。 这里主要说的就是服务端与多客户端的通信,这也…

G8 - ACGAN

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者:K同学啊 目录 模型结构 模型结构 之前几期打卡中,已经介绍过GAN CGAN SGAN,而ACGAN属于上述几种GAN的缝合怪,其模型的结构图如下&a…

Python 中的抽象语法树

Abstract Syntax Trees in Python 注:机翻,未校对。 Requirement: All examples are compatible with at least Python v3.6, except for using ast.dump() with the attribute indent which has been added in Python v3.9. 要求:所有示例至…

如何检测和处理Android应用程序中的内存泄漏问题。

在Android开发中,内存泄漏是一个不容忽视的问题。它不仅会影响应用程序的性能,还可能导致应用崩溃,给用户带来不良体验。因此,作为开发者,我们必须了解如何检测和处理内存泄漏。下面,我将从技术难点、面试官…

结题阶段(2024年6月)

课题研究大事记 序号 时间 内容安排 负责人 备注 1 2022.4 课题审定会议 全体成员 2 2022.4 开题报告撰写 郭书艳 3 2022.4 课题申报 郭书艳 4 2022.5 课题立项报告会 郭书艳、陈晓忠 5 2022.6 课题推进安排会 俞峰 6 2022.7 当下课堂模式…

第二十课,认识列表与定义列表

一,列表的作用 思考一个问题:如果我想要在程序中,记录5名学生的信息,如姓名。 如何做呢? 这就是列表的作用,能帮助我们更加高效的存储各种数据 思考:如果一个班级100位学生,每个人…

利用SHAP算法解释BERT模型的输出

1 何为SHAP? 传统的 feature importance 只告诉哪个特征重要,但并不清楚该特征如何影响预测结果。SHAP 算法的最大优势是能反应每一个样本中特征的影响力,且可表现出影响的正负性。SHAP算法的主要思想为:控制变量法,如果某个特征…

VMware完美安装Ubuntu20.04

一、官网下载Ubuntu20.04 下载地址为:https://releases.ubuntu.com/https://releases.ubuntu.com/ 下载完后镜像为ubuntu-20.04.4-desktop-amd64.iso 二、Ubuntu安装 2.1、打开VMware player,并创建新虚拟机。 2.2、点击浏览按钮选择需要安装的镜像 2…

Linux系统上部署Whisper。

Whisper是一个开源的自动语音识别(ASR)模型,最初由OpenAI发布。要在本地Linux系统上部署Whisper,你可以按照以下步骤进行: 1. 创建虚拟环境 为了避免依赖冲突,建议在虚拟环境中进行部署。创建并激活一个新…

问题 N: 二叉树的创建和文本显示

问题 N: 二叉树的创建和文本显示 题目描述 编一个程序,读入先序遍历字符串,根据此字符串建立一棵二叉树(以指针方式存储)。 例如如下的先序遍历字符串: A ST C # # D 10 # G # # F # # # 各结点数据(长度不…

数据结构实训:表达式求值器(非常详细)

表达式求值器 问题描述: 设计一个表达式求值器,能够解析和计算由数字、运算符和括号组成的算术表达式。要求实现基本的四则运算,如加、减、乘、除,并处理运算符的优先级和括号。 设计要点: 1. 使用栈作为数据结构来处…

ElementUI组件

目录 1、安装ElementUI 2、在main.js文件中加入 3、使用组件 终端运行: Element,一套为开发者、设计师和产品经理准备的基于Vue2.0的桌面端组件库. 1、安装ElementUI 控制台输入 npm i element-ui -S 2、在main.js文件中加入 import ElementUI from…

老司机开发技巧,如何扩展三方包功能

前言 最近碰上有个业务,查询的sql如下: sql 复制代码 select * from table where (sku_id,batch_no) in ((#{skuId},#{batchNo}),...); 本来也没什么,很简单常见的一种sql。 问题是我们使用的是mybatis-plus,然后写的时候有没…