什么是缓存雪崩、击穿、穿透?

背景

数据一般是存储于数据库中,数据库中的数据都是存在磁盘上的,磁盘读写的速度相较于内存或者CPU中的寄存器来说是非常慢的了。

如果用户的请求都直接访问数据库的话,请求数量一上来,数据库很容易就崩溃了,所以为了避免用户直接访问数据库,会用 Redis 作为缓存层。

因为Redis 是内存数据库,我们可以直接将数据库的数据缓存在 Redis 中,相当于数据缓存在内存,内存的读写速度比硬盘快很多,这样大大提升了系统的性能。

引入了缓存层,就会有缓存异常的三个问题,分别是缓存雪崩、缓存击穿、缓存穿透


缓存雪崩

通常为了保证缓存中的数据与数据库中数据的一致性,会给 Redis 里的数据设置过期时间,当缓存数据过期后,用户访问的数据如果不在数据库中,业务系统就需要重新生成缓存,因此会去访问数据库,并将数据缓存到 Redis 中,这样后续再次请求就可以直接命中缓存了。

大量缓存数据在同一时间过期(失效)或者 Redis 故障宕机时,此时如果有大量的用户请求都无法命中缓存,就会全部访问数据库,从而导致数据库的压力剧增,严重的会造成数据库宕机,从而形成一系列的连锁反应,造成整个系统崩溃,这就是缓存雪崩

缓存雪崩发生的两个原因:

  • 大量数据同时过期或失效
  • Redis 故障宕机

大量数据同时过期

解决方法:

  • 均匀设置过期时间
  • 互斥锁
  • 后台更新缓存

1. 均匀设置过期时间

        避免将大量的数据设置成同一个过期时间。可以在对缓存数据设置过期时间的时候,给这些数据的过期时间加上一个随机数,这样就保证数据不会再同一时刻过期。

2. 互斥锁

        当业务线程在处理用户请求时,如果发现访问的数据不在 Redis 里,就加一个互斥锁,保证同一时间内只有一个请求在构建缓存(从数据库中读取数据,再将数据更新到Redis),当缓存构建完成后,再释放锁。未能获取互斥锁的请求,要么等待锁的释放后再去请求缓存,要么直接返回空值。

3. 后台更新缓存

        业务线程不再负责更新缓存,缓存也不设置有效期,而是让缓存“永久有效”,并将更新缓存的工作交给后台线程定时更新

        事实上,缓存数据不设置有效期,缓存中的数据也不会一直留存在内存中,因为当系统内存紧张的时候,有些缓存数据会被淘汰,而在缓存被淘汰到下一次后台定时更新缓存的这段时间内,业务线程读取缓存失败会返回空值,业务的视角就是数据丢失了。

解决上面的问题有两种方法:

方式一:
        后台线程不仅负责定时更新缓存,而且负责频繁地检测缓存是否有效,检测到缓存失效了,原因可能是系统紧张而被淘汰的,于是就要马上从数据库中获取数据,并更新到缓存

        这种方式检测间隔不能太长,否则在间隔期间内用户获取数据也是有误的,所以检测时间最好是毫秒级,但是有时间间隔用户体验一般。

方式二:
        在业务线程发现缓存数据失效后,通过消息队列发送一条消息通知后台线程更新缓存,后台线程收到消息后,在更新缓存前可以判断缓存是否存在,存在就不执行更新缓存操作;不存在就读取数据库数据,并将数据加载到缓存。这种方式比第一种方式缓存的更新会更及时,用户体验较好。

Redis 故障宕机

针对Redis 故障宕机而引发的缓存雪崩的问题,常见的应对方法有两种:

  • 服务熔断或请求限流机制
  • 构建Redis 缓存高可靠集群

1. 服务熔断或请求限流机制

        因为Redis 故障宕机而导致换保存雪崩问题时,我们可以启动服务熔断机制,暂停业务应用对缓存服务的访问,直接返回错误,不再继续访问数据库,从而降低对数据库的访问压力,保证数据库的正常运行,然后等到 Redis 恢复后,再允许业务应用访问缓存服务

        服务熔断机制虽然保护了数据库的正常运行,但是暂停了业务访问数据,全部业务无法正常工作。为了减少对业务的影响,我们可以启用请求限流机制,只将少部分的请求发送到数据库进行处理,再多的请求就在入口处直接拒绝服务,等到 Redis 恢复正常并把缓存预热后,再移除对请求限流机制

2. 构建Redis缓存高可用集群

        服务熔断或请求限制机制是缓存雪崩发生后的应对方案,最好可以通过主从节点的方式构建Redis缓存高可靠集群

        如果Redis缓存的主节点宕机,从节点可以切换成为主节点,继续提供缓存服务,避免了由于Redis故障宕机而导致的缓存雪崩的问题。


缓存击穿

在业务中通常会有几个数据会被频繁地访问,这些数据被称为热点数据。

如果缓存中的某个热点数据过期了,此时大量的请求访问了该热点数据,就无法从缓存中读取,直接访问数据库,数据库很容易就被高并发的请求冲垮,这就是缓存击穿

可以发现缓存击穿和缓存雪崩相似,可以认为缓存击穿时缓存雪崩的一种特殊情况。

应对缓存击穿可以采取缓存雪崩中说的两种解决方案:

  • 互斥锁:保证同一时刻只有一个业务线程更新缓存,未能获取互斥锁的请求,要么等待互斥锁释放后重新读取缓存,要么返回空值或者默认值
  • 不给热点数据设置过期时间,由后台异步更新缓存,或者在热点数据准备过期前,提前通知后台线程更新缓存以及重新设置过期时间。

缓存穿透

当用户访问的数据,既不在缓存中,又不在数据库中,导致请求在访问缓存时,发现缓存缺失,再去访问数据库时,发现数据库中也没有要访问的数据,没办法构建缓存数据,来服务后续的请求。那么当有大量这样的请求到来时,数据库的压力骤增,这就是缓存穿透的问题。

缓存穿透有两种情况:

  • 业务误操作,缓存中的数据和数据库中的数据都被误删除了,所以导致缓存和数据库中都没有数据
  • 恶意攻击,故意大量访问某些读取不存在数据的业务

应对缓存穿透的方案有三种:

  1. 非法请求限制
  2. 缓存空值或者默认值
  3. 使用布隆过滤器快速判断数据是否存在,避免通过查询数据来判断数据是否存在

1. 非法请求限制

        当有大量的请求访问不存在的数据的时候,也会发生缓存穿透,因此在API入口处判断请求参数是否合理,请求参数是否含有非法值、请求字段是否存在,如果判断出是恶意请求就直接返回错误,避免进一步访问缓存和数据库。

2. 缓存空值或默认值

        当线上业务发现缓存穿透的现象时,可以针对查询的数据,在缓存中设置一个空值或者默认值,这样后续请求就可以从缓存中读取到空值或者默认值,返回给应用,而不会继续查询数据库。

3. 使用布隆过滤器快速判断数据是否存在,避免通过查询数据库来判断数据是否存在

        可以在写数据库数据的时候,使用布隆过滤器做个标记,然后再用户请求到来时,业务线程先确定缓存失效后,可以通过查询布隆过滤器快速判断数据是否存在,如果不存在,就不用查询数据库来判断数据是否存在。

即使发生了缓存穿透,大量请求也只会查询缓存和布隆过滤器,而不会查询数据库,保证了数据库能正常运行,Redis 自身也是支持布隆过滤器的。


总结

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/152076.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Visio免费版!Visio国产平替软件,终于被我找到啦!

作为一个职场人士,我经常需要绘制各种流程图和图表,而Visio一直是我使用的首选工具。但是,随着公司的发展和工作的需要,我逐渐发现了Visio的优点和不足。 首先,让我们来看看Visio的优点。Visio是一个专业的流程图和图…

C#可空类型

在C#中,可空类型(Nullable types)允许值类型(比如int, double, bool等)接受null值。这是特别有用的,因为在很多应用程序中,如数据库交互和数据解析,值类型的字段可能需要表示没有值&…

注册表单mvc 含源代码

总结 jsp给我们的ControllerServlet.java,ControllerServlet.java获取参数,信息封装给RegisterFormBean.java的对象看是否符合格式,符合格式再信息封装给UserBean对象,调用Dbutil插入方法查重.]]要创建一个user集合成功跳哪个界面,打印信息注意什么时候要加getsession失败跳哪…

VS+Qt+C++ Yolov8物体识别窗体程序onnx模型

程序示例精选 VSQtC Yolov8物体识别窗体程序onnx模型 如需安装运行环境或远程调试,见文章底部个人QQ名片,由专业技术人员远程协助! 前言 这篇博客针对《VSQtC Yolov8物体识别窗体程序onnx模型》编写代码,代码整洁,规…

C++ 与Qt之间的关系

C 和 Qt 之间有着密切的关系。Qt 是一个用于开发 GUI 和应用程序的跨平台 C 库,它提供了许多功能和工具,可以帮助开发者创建高质量的桌面应用程序和移动应用程序。 以下是 C 和 Qt 之间的一些主要关系: Qt 是用 C 编写的:Qt 的核…

Linux远程工具专家推荐(二)

8. Apache Guacamole Apache Guacamole 是一款免费开源的无客户端远程桌面网关,支持 VNC、RDP 和 SSH 等标准协议。无需插件或客户端软件;只需使用 HTML5 Web 应用程序(例如 Web 浏览器)即可。 这意味着您的计算机的使用不受任何一…

【开源】基于Vue和SpringBoot的民宿预定管理系统

项目编号: S 058 ,文末获取源码。 \color{red}{项目编号:S058,文末获取源码。} 项目编号:S058,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 用例设计2.2 功能设计2.2.1 租客角色…

【监控系统】日志可视化监控体系ELK搭建

1.ELK架构是什么 ELK是ElasticsearchLogstashKibana的简称。 Elasticsearch是一个开源的分布式搜索和分析引擎,可以用于全文检索、结构化检索和分析,它构建在Lucene搜索引擎库之上,是当前使用较为广泛的开源搜索引擎之一。 Logstash是一个…

CISP模拟试题(二)

免责声明 文章仅做经验分享用途,利用本文章所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,作者不为此承担任何责任,一旦造成后果请自行承担!!! 1.中国信息安全测评中心对CISP注册信息安全专业人员有保持认证要求,在证书有效期内,应完成至少6…

雪花算法的使用

雪花算法的使用(工具类utils) import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Component;// 雪花算法 Component public class SnowflakeUtils { // Generated ID: 1724603634882318341; // Generated ID: 1724603…

Databend 开源周报第 120 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。 Whats On In Databend 探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。 使用自定义 CON…

常见Web安全

一.Web安全概述 以下是百度百科对于web安全的解释: Web安全,计算机术语,随着Web2.0、社交网络、微博等等一系列新型的互联网产品的诞生,基于Web环境的互联网应用越来越广泛,企业信息化的过程中各种应用都架设在Web平台…

java mybatisplus generator 修改字段类型

最新版生成代码的指定字段类型 FastAutoGenerator .dataSourceConfig(config -> {config.typeConvertHandler(new ITypeConvertHandler() {Overridepublic NotNull IColumnType convert(GlobalConfig globalConfig, TypeRegistry typeRegistry, TableField.MetaInfo metaIn…

【框架整合】Redis限流方案

1、Redis实现限流方案的核心原理&#xff1a; redis实现限流的核心原理在于redis 的key 过期时间&#xff0c;当我们设置一个key到redis中时&#xff0c;会将key设置上过期时间&#xff0c;这里的实现是采用lua脚本来实现原子性的。2、准备 引入相关依赖 <dependency>…

MySQL 之多版本并发控制 MVCC

MySQL 之多版本并发控制 MVCC 1、MVCC 中的两种读取方式1.1、快照读1.2、当前读 2、MVCC实现原理之 ReadView2.1、隐藏字段2.2、ReadView2.3、读已提交和可重复读隔离级别下&#xff0c;产生 ReadView 时机的区别 3、MVCC 解决幻读4、总结 MVCC&#xff08;多版本并发控制&…

springboot引入第三方jar包放到项目目录中,添加web.xml

参考博客&#xff1a;https://www.cnblogs.com/mask-xiexie/p/16086612.html https://zhuanlan.zhihu.com/p/587605618 1、在resources目录下新建lib文件夹&#xff0c;将jar包放到lib文件夹中 2、修改pom.xml文件 <dependency><groupId>com.lanren312</grou…

android 点击EdiText 禁止弹出系统键盘

找了很多都不好用&#xff0c;最后使用 editText.setShowSoftInputOnFocus(false); editText.getViewTreeObserver().addOnGlobalLayoutListener(new ViewTreeObserver.OnGlobalLayoutListener() {Overridepublic void onGlobalLayout() {InputMethodManager imm (InputMetho…

YOLOv8-Seg改进:Backbone改进 |Next-ViT堆栈NCB和NTB 构建先进的CNN-Transformer混合架构

🚀🚀🚀本文改进:Next-ViT堆栈NCB和NTB 构建先进的CNN-Transformer混合架构,包括nextvit_small, nextvit_base, nextvit_large,相比较yolov8-seg各个版本如下: layersparametersgradientsGFLOPsnextvit_small61033841075

网络运维与网络安全 学习笔记2023.11.18

网络运维与网络安全 学习笔记 第十九天 今日目标 冲突域和交换机工作原理、广播域和VLAN原理 VLAN配置、TRUNK原理与配置、HYBRID原理与配置 冲突域和交换机工作原理 冲突域概述 定义 网络设备发送的数据&#xff0c;产生冲突的区域&#xff08;范围&#xff09; 对象 “数…

使用Generator处理二叉树的中序遍历

二叉树的中序遍历 let arr [[[a], b, [c]], d, [[e], f, [g]]] class Tree {constructor(left,root,right) { // 一棵树具有根节点&#xff0c;左孩子节点和右孩子节点this.left left;this.root root;this.right right;} } // 将数组构造为树的处理函数 function arrToTre…