Redis核心技术与实战【学习笔记】 - 17.Redis 缓存异常:缓存雪崩、击穿、穿透

概述

Redis 的缓存异常问题,除了数据不一致问题外,还会面临其他三个问题,分别是缓存雪崩、缓存击穿、缓存穿透。这三个问题,一旦发生,会导致大量的请求积压到数据库。若并发量很大,就会导致数据库宕机或故障,这是很严重的生产事故。


1.缓存雪崩

缓存雪崩是指大量的应用请求无法在 Redis 缓存中进行处理,应用将大量的请求发送到数据库层,导致数据库层压力激增。

造成缓存雪崩的原因一般有两个,应对的方案也不同。

1.1第一个原因是:缓存中有大量的数据同时过期,导致大量请求无法得到处理

具体来说,当数据保存在缓存中,并且设置了过期时间时,如果在某一时刻,大量数据同时过期,此时应该在访问这些数据就发生缺失。紧接着,应用就会把请求发送给数据库,从数据库中读取数据。如果应用的并发请求量很大,那么数据库的压力也就很大,这会加剧影响到数据库的其他正常业务请求处理。

在这里插入图片描述
针对大量数据同时失效带来的缓存雪崩,有两种解决方案。

A.可以避免给大量的数据设置相同的过期时间

如果业务层的确要求有些数据同时过期,你可以在用 EXPIRE 命令给每个数据过期时,给过期时间增加一个较小的随机数(例如,随机增加1~3分钟),这样一来,不同数据的过期时间有所差别,但差别有不会太大,既避免了大量数据同时过期,又保证了这些数据基本在相近的时间失效,仍能满足业务需求。

B.还可以通`服务降级来应对雪崩。

所谓服务降级,是指发送缓存雪崩时,针对不同的数据采取不同的处理方式。

当业务访问的是非核心数据(如电商商品属性)时,暂时停止从缓存中查询这些数据,而是直接返回预定义信息、空值或错误信息。

当业务应用访问的是核心数据(例如商品库存)时,仍然运行查询缓存,如果缓存缺失,也可以继续通过数据库读取。

这样一来,只有部分过期数据的请求会发送到数据库,数据库的压力也就没有那么大了。

在这里插入图片描述

1.2 第二个原因是 Redis 实例发送故障宕机了,无法处理请求,这会导致大量请求一下子积压到数据库层,从而发生雪崩

一般来说,一个 Redis 实例可以支持万级别的请求处理吞吐量,而单个数据库可能只支持数钱级别的吞吐量。由于缓存雪崩,Redis 缓存失效,所以数据库可能因压力过大而崩溃。

有两个建议可以应对 Redis 宕机而引发的缓存雪崩。

第一个建议,是在业务系统中实现服务熔断或请求限流机制

服务熔断,是指在发送缓存雪崩时,为了防止引发连锁的数据库雪崩,甚至是整个系统的崩溃,我们暂停业务应用对缓存系统的接口访问。即业务应用调用缓存接口时,客户端并不把请求发给 Redis 实例,而是直接返回等到 Redis 实例重新恢复后,再允许应用请求发送到缓存系统。这样就避免了大量请求应缓存缺失,而积压到数据库。

在业务系统运行时,我们可以监测 Redis 缓存所在机器和数据库所在机器的负载指标,如每秒请求书、CPU 利用率等。如果发现 Redis 缓存确实宕机了,而数据库所在机器的负载压力突然增加(例如,每秒请求数激增),此时就发生缓存雪崩了。我们可以启动熔断机制,暂停业务应用对缓存服务的访问,从而降低数据库的访问压力。
在这里插入图片描述
熔断服务虽然可以保证数据库的正常运行,但是暂停了整个缓存系统的访问,对业务应用的影响范围大。为了尽可能减少这种影响,我们也可以进行请求限流
请求限流是指,我们在业务系统发请求入口前端控制每秒进入系统的请求数,避免过多的请求被发送到数据库。

假设业务系统正常运行是,请求入口允许每秒进入系统的请求是 1 万个,其中,9000 个请求都能在缓存中处理,只有 1000 个请求会被应用发送到数据库。

一旦发生了缓存雪崩,数据库每秒的请求突然增加到 1 万个,此时,就可以启动请求限流机制,在请求入口前端只允许每秒进入 1000 个请求,再多的请求就会在入口前端直接拒绝服务。所以,使用了请求限流,就可以避免大量并发请求压力传递到数据库层。

在这里插入图片描述
使用熔断或是请求限流,来应对 Redis 实例宕机导致的缓存雪崩问题,属于“事后诸葛亮”。

第二个建议是事前预防

通过主从节点的方式构建 Redis 缓存高可靠集群。如果 Redis 缓存的主节点故障宕机了,从节点还可以切换成主节点,继续提供缓存服务,避免了由于缓存实例宕机而导致的缓存雪崩问题。

2.缓存击穿

缓存击穿是指,某个访问非常频繁的热点数据的请求,无法在缓存中进行处理,紧接着,该访问该数据集的大量请求,一下子都发送到了后端数据库,导致了数据库压力激增,会影响数据库处理其他请求。缓存击穿的情况,经常发送在热点数据过期失效时,如下所示:

缓存击穿
为避免缓存击穿给数据库带来的激增压力,解决办法是:对于访问特别频繁的热点数据,我们就不设置过期时间了。这样一样,对热点数据的服务请求,都可以在缓存中进行处理。

3.缓存穿透

缓存穿透是指要访问的数据既不在 Redis 缓存中,也不在数据库中,导致请求在访问缓存时,发生缓存缺失,再去访问数据库,但是发现数据库中也没有要访问的数据。此时,应用也无法从数据库中读取数据再写入缓存,这样一来缓存就成了"摆设"。如果应用持续有大量请求访问数据库,就会同时给缓存和数据库带来巨大压力:
在这里插入图片描述
缓存穿透一般在什么时候发生?

  • 业务层误操作:缓存中和数据库中的数据被误删了,所以缓存中和数据库中都没有数据。
  • 恶意攻击:专门访问数据库中没有的数据。

一共有三种方案来应对缓存穿透的问题

3.1 第一种方案是缓存空值或缺省值

一旦发生缓存穿透,我们就可以针对查询的数据,在 Redis 中缓存一个空值或是业务层商定的缺省值。紧接着,应用发送后的请求在进行查询时,就可以直接从 Redis 中读取空值或缺省值返回给业务应用了,避免了把大量请求发送给数据库。

3.2 第二种方案是,使用布隆过滤器快速判断数据是否存在,避免从数据库中查询数据是否存在,减去数据库压力

先看下布隆过滤器是如何工作的。布隆过滤器由一个 初值都为 0 的 bit 数组N 个哈希函数 组成,它可以用来快速判断某个数据是否存在。当我们想标记某个数据存在时(例如,数据已被写入数据库),布隆过滤器会通过三个操作完成标记:

  • 首先,使用 N 个哈希函数,分别计算这个数据的哈希值,得到 N 个哈希值。
  • 然后,把这个 N 个哈希值对 bit 数组的长度取模,得到每个哈希值在数组中的位置。
  • 最后,我们把对应的 bit 位设置为 1,这就完成了在布隆过滤器中标记数据的操作。

如果数据不存在(例如,在数据库中没有写入数据),我们也就没有用布隆过滤器标记过数据,那么, bit 数组对应的 bit 位的值仍为 0。

当需要查询某个数据时,我们就执行刚刚的计算过程,先得到这个数据在 bit 数组中对应的 N 个位置。紧接着,查看 bit 数组中这个 N 个位置上的 bit 值。只要这 N 个 bit 值有一个不为 1,这就表明布隆过滤器没有对该数据做过标记,所以,查询的数据一定没有在数据库中保存。
在这里插入图片描述

  1. 图中布隆过滤器是一个包含 10 个 bit 位的数组,使用 3 个哈希函数。
  2. 当在布隆过滤器中标记 X 时,X 会被计算 3 次哈希值,并对 10 取模,取模的结果分别是 1、3、7。
  3. 所以,bit 数组的第 1、3、7 位被设置为 1。
  4. 当应用要查询 X 时,只有查看数组的第 1、3、7 位是否为 1。只要有一个为 0,那么 X 就肯定不在数据库中。

正式基于布隆过滤器的快速检测特性,我们可以在把数据写入数据库时,使用布隆过滤器做个标记。当缓存缺失后,应用查询数据库时,可以通过查询布隆过滤器快速判断数据是否存在。如果不存在,就不用再去数据库中查询了。这样一来,及时发送了缓存穿透,大量请求只会查询 Redis 和布隆过滤器,而不会积压请求到数据库。布隆过滤器可以使用 Redis 实现,本身就能承受较大的并发压力。

3.3 最后一种方案是在请求入口的前端进行检测

缓存穿透的一个原因是有大量的恶意请求访问不存在的数据,所以,一个有效的应对方案是在请求入口前端,对业务系统接收到的请求进行合法性检测,把恶意请求(例如请求参数不合发、请求字段不存在)直接过滤掉,不让他们访问后端缓存和数据库。这样一来,也就不会出现缓存穿透问题了。

4.小结

我把三大问题的原因和应对方案总结到一张表格上。

问题原因应对方案
缓存雪崩大量数据同时过期
缓存实例宕机
给缓存数据的过期时间加上小的随机数,避免同时过期
服务降级
服务熔断
请求限流
Redis主从集群
缓存击穿访问非常频繁的热点数据过期不给热点数据设置过期时间
缓存穿透缓存和数据库中都没有要访问的数据缓存空值或缺省值
请求使用布隆过滤器快速判断
请求入口前端对请求合法性进行检查

最后,要强调以下,服务熔断服务降级请求限流这些方法都属于“有损”方案,在保证数据库和整体系统稳定的同事,会对业务应用带来负面影响。

所以,建议尽量使用预防方案:

  • 针对缓存雪崩,合理的设置数据过期时间,以及搭建高可靠缓存集群。
  • 针对缓存击穿,在缓存访问非常频繁的热点数据时,不要设置过期时间。
  • 针对缓存穿透,提前在入口前端实现恶意请求检测、使用不容过滤器快速判断,或者规范数据库的数据删除操作,避免误删。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/664995.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

TQ15EG开发板教程:开发板Vivado硬件设置

1,串口的配置 PS端有2个串口,在BANK500, 1.8V IO电平 管脚名称 电平 说明 UART0 RX MIO18 1.8V MPSOC方向看 TX MIO19 1.8V UART1 RX MIO21 1.8V TX MIO20 1.8V 2,QSPI的配置 采用2片MT25QU256 拼接成8bit的QSPI存储系统。采用1.8V…

安卓SurfaceTexture中updateTexImage使用及源码分析

文章目录 引言updateTexImage 简单使用SurfaceTexture 初始化相关源码分析Surface 绘制流程源码分析createBufferQueue 源码分析SurfaceTexture 之 updateTexImage 源码分析结尾 本文首发地址 https://h89.cn/archives/140.html 最新更新地址 https://gitee.com/chenjim/chenji…

中国象棋基础

帅(将)的运用原则: (1)帅走直线,前进后退均可 (2)一次只能走一格 (3)活动范围在“九宫”之内 (4)可行处可吃敌子 (5&…

React实例之完善布局菜单(一)

今天我们来用所学的知识来做一个布局菜单的组件, 针对这个组件我之前写过一个教程 React之布局菜单-CSDN博客,那个呢比较基础,这节课算是对那个教程的一个扩展和补充。这个实例讲完,这个系列就算告一段落了。先看效果 这个教程要求对React知识…

算法学习——华为机考题库6(HJ36 - HJ40)

算法学习——华为机考题库6(HJ36 - HJ40) HJ36 字符串加密 描述 有一种技巧可以对数据进行加密,它使用一个单词作为它的密匙。下面是它的工作原理:首先,选择一个单词作为密匙,如TRAILBLAZERS。如果单词中…

DDD技术方案落地实践

DDD技术方案落地实践 引言 从接触领域驱动设计的初学阶段,到实现一个旧系统改造到DDD模型,再到按DDD规范落地的3个的项目。对于领域驱动模型设计研发,从开始的各种疑惑到吸收各种先进的理念,目前在技术实施这一块已经基本比较成…

Postgres与DynamoDB:选择哪个数据库

启动新项目时需要做出的决定之一是使用哪个数据库。如果您使用的是Django这样的包含电池的框架,那么没有理由再三考虑。选择一个受支持的数据库引擎,就可以了。另一方面,如果你使用像FastAPI或Flask这样的微框架,你需要自己做出这…

JVM系列——垃圾收集器Parrlel Scavenge、CMS、G1常用参数和使用场景

背景 当前在Java领域,JDK 8版本仍然享有广泛的使用,它支持了Parallel Scavenge、CMS和G1这几种垃圾收集器。因此,为了在业务应用中更加高效地进行开发和性能调优,我们需要对这些垃圾收集器的工作原理和特性有一个全面的理解和认识…

【MySQL】双写、重做日志对宕机时脏页数据落盘的作用的疑问及浅析

众所周知,双写机制、重做日志文件是mysql的InnoDB引擎的几个重要特性之二。其中两者的作用都是什么,很多文章都有分析,如,双写机制(Double Write)是mysql在crash后恢复的机制,而重做日志文件&am…

【复现】大华 DSS 数字监控系统 任意文件读取漏洞_38

目录 一.概述 二 .漏洞影响 三.漏洞复现 1. 漏洞一: 四.修复建议: 五. 搜索语法: 六.免责声明 一.概述 大华DSS是大华的大型监控管理应用平台,支持几乎所有涉及监控等方面的操作,支持多级跨平台联网等操作。 可…

2024年适合进入股市吗?北京想开股票账户找哪家证券公司交易佣金费用最低?

股市规则是指股票市场中的一系列规则和制度,用于监管和管理股票交易。以下是一些常见的股市规则: 证券法律法规:股市规则的基础是国家的证券法律法规,包括证券法、公司法等,用于规范股票发行、交易和上市等方面的法律规…

重生奇迹MU套装怎么配

汉斯的皮套装:冰之指环,皮护腿,皮盔,皮护手,皮靴,皮铠,流星槌 汉斯的青铜套装:青铜护腿,青铜靴,青铜铠 汉斯的翡翠套装:雷之项链,翡翠护腿,翡翠盔,翡翠铠,远古之盾 汉斯的黄金套装:火之项链,黄金护腿,黄金护手,黄金靴,黄金铠 …

代码随想录算法训练营DAY11 | 栈与队列 (2)

一、LeetCode 20 有效的括号 题目链接:20.有效的括号https://leetcode.cn/problems/valid-parentheses/ 思路:遇到左括号直接进栈;遇到右括号判断站顶是否有匹配的括号,没有就返回flase,有就将栈顶元素出栈&#xff1…

FANUC机器人示教器的菜单变成了图标,如何改成列表的形式?

FANUC机器人示教器的菜单变成了图标,如何改成列表的形式? 如下图所示,开机后按下MENU菜单键时,发现原来的列表形式变成了菜单图标的形式,同时在按F1-F5键时,提示:HMI模式-键不可用, …

向日葵案例解析:无外网接入,医疗设备如何进行远程售后运维

随着医学科学以及生物工程技术的高速发展,医院对于高端医疗设备如MR、CT、B超等高科技成像设备和放射治疗设备的需求激增。医学影像检查作为一种重要的手段,在许多疾病确诊过程中发挥着至关重要的作用。检查结果正确与否,直接影响临床医生对疾…

JS 引导动画

前言 引导动画是程序在某一时刻播放的动画,通常用于向用户介绍程序的功能和特点。 实现效果 实现方式 引导动画的实现方式有很多种,这里我使用的是 CSS 的 clip-path 属性。 技术选型 这里我为什么要选择 clip-path 属性而不是 mask 属性呢&#xf…

阿狸与小兔子的奇幻之旅

在很久很久以前,有一个遥远的国度,这个国度里生活着各种各样的动物,它们和谐共处,幸福快乐。在这个国度里,有一只聪明伶俐的小狐狸,名叫阿狸。 一天,阿狸在森林里散步时,遇到了一只正…

关于网络面试题汇总

什么是TCP/IP五层模型?它们的作用是啥?基于TCP/IP实现的应用(层协议)有哪些? TCP/IP五层模型,从上向下分别是: 应用层:应用程序本身,应用层的作用是负责应用程序之间的…

数据结构篇-05:哈希表解决字母异位词分组

本文对应力扣高频100 ——49、字母异位词分组 哈希表最大的特点就是它可以把搜索元素的时间复杂度降到O(1)。这一题就是要我们找到 “字母异位词” 并把它们放在一起。 “字母异位词”就是同一个单词中字母的不同组合形式。判断“字母异位词”有两个视角:1、所含字…

全面认识DOS系统

目录 一、DOS系统的功能 1.执行命令和程序(处理器管理) 2.内存管理 3.设备管理 4.文件管理 5.作业管理 二、文件与目录 三、文件类型与属性 1.系统属性(S) 2.隐含属性(H) 3.只读属性&#xff08…