探索--------------redis缓存三大问题及解决方案

目录

一、redis的三大缓存问题

1、缓存穿透

1.1 问题描述  

1.2缓存穿透发生的条件

1.3缓存穿透发生的原因

1.4解决方案

2、缓存雪崩

2.1问题描述

2.2解决缓存雪崩问题的方法有:

3、缓存击穿 (热点数据集中失效)

  3.1问题描述

3.2缓存击穿的现象

3.3缓存击穿发生的原因

3.4解决方案


一、redis的三大缓存问题

正常情况下,大部分的访问请求应该是先被redis响应的,在redis那里得不到响应的小部分访问请求才会去请求MySQL数据库获取数据,这样MySQL数据库的负载压力是非常小的,且可以正常工作

缓存雪崩/穿透/击穿三大问题的根本原因在于redis缓存命中率下降,大量请求会直接发送给MySQL数据库,导致MySQL数据库压力过大而崩溃。

redis的三大缓存问题:

缓存雪崩:redis中大量缓存key集体过期
缓存穿透:大量请求访问redis和MySQL都不存在的资源
缓存击穿:redis中一个热点key过期,此时又有大量用户访问这个热点key(redis-cli --hotkeys 可用于查找热Key)

在大多数互联网应用中,缓存的使用方式如下图所示:

1、缓存穿透

缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,导致请求直接落到数据库上。

业务系统要查询的数据根本就存在!当业务系统发起查询时,按照上述流程,首先会前往缓存中查询,由于缓存中不存在,然后再前往数据库中查询。

由于该数据压根就不存在,因此数据库也返回空。这就是缓存穿透。

综上所述:业务系统访问压根就不存在的数据,就称为缓存穿透

1.1 问题描述  

 key 对应的数据在数据源并不存在每次针对此 key 的请求从缓存获取不到,请求都会压到数据源(数据库),从而可能压垮数据源。比如用一个不存在的用户 id 获取用户信息,不论缓存还是数据库都没有,若黑客利用此漏洞进行攻击可能压垮数据库。

(你要知道,目前业务系统中最脆弱的就是IO,稍微来点压力它就会崩溃,所以我们要想种种办法保护它)

1.2缓存穿透发生的条件

应用服务器压力变大
redis 命中率降低
一直查询数据库,使得数据库压力太大而压垮
其实 redis 在这个过程中一直平稳运行,崩溃的是我们的数据库(如 MySQL)。

1.3缓存穿透发生的原因

黑客或者其他非正常用户频繁进行很多非正常的 url 访问,使得 redis 查询不到数据库。

发生缓存穿透的原因有很多,一般为如下两种:

  1. 恶意攻击,故意营造大量不存在的数据请求我们的服务,由于缓存中并不存在这些数据,因此海量请求均落在数据库中,从而可能会导致数据库崩溃。
  2. 代码逻辑错误。这是程序员的锅,没啥好讲的,开发中一定要避免!

1.4解决方案

  • 对空值缓存:如果一个查询返回的数据为空(不管是数据是否不存在),我们仍然把这个空结果(null)进行缓存,设置空结果的过期时间会很短,最长不超过五分钟。
  • 设置可访问的名单(白名单):使用 bitmaps 类型定义一个可以访问的名单,名单 id 作为 bitmaps 的偏移量,每次访问和 bitmap 里面的 id 进行比较,如果访问 id 不在 bitmaps 里面,进行拦截,不允许访问。
  • 采用布隆过滤器:布隆过滤器(Bloom Filter)是 1970 年由布隆提出的。它实际上是一个很长的二进制向量 (位图) 和一系列随机映射函数(哈希函数)。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。
  • 进行实时监控:当发现 Redis 的命中率开始急速降低,需要排查访问对象和访问的数据,和运维人员配合,可以设置黑名单限制服务

    布隆过滤器图:

缓存穿透的解决方案:

  • 对空值也进行缓存
  • 使用布隆过滤器进行判断拦截一定不存在的无效请求
  • 使用脚本实时监控,进行黑名单限制

2、缓存雪崩

缓存雪崩是指缓存中的大量数据同时失效或过期,导致请求直接击穿到数据库,导致数据库压力过大而崩溃。

缓存雪崩指在一个高并发的系统中,由于大量的缓存数据在同一时间段内过期或失效,导致大量请求无法从缓存中获取数据,因此大量并发请求可能导致数据库服务器过载,甚至宕机,从而引发整个系统崩溃。

当缓存失效以后却是这样的:

缓存其实扮演了一个保护数据库的角色。

它帮数据库抵挡大量的查询请求,从而避免脆弱的数据库受到伤害。

如果缓存因某种原因发生了宕机,那么原本被缓存抵挡的海量查询请求就一起一窝蜂的一样涌向数据库。此时数据库如果抵挡不了这巨大的压力,它就会崩溃。

这就是缓存雪崩。

2.1问题描述

   key 对应的数据存在,但在 redis 中过期,此时若有大量并发请求过来,这些请求发现缓存过期一般都会从后端数据库加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把后端数据库压垮。

   缓存雪崩与缓存击穿的区别在于这里针对很多 key 缓存,前者则是某一个 key 正常访问。

2.2解决缓存雪崩问题的方法有:

  • 构建多级缓存架构:nginx 缓存 + redis 缓存 + 其他缓存(ehcache 等)。
  • 使用锁或队列:用加锁或者队列的方式来保证不会有大量的线程对数据库一次性进行读写,从而避免失效时大量的并发请求落到底层存储系统上,该方法不适用高并发情况。
  • 设置过期标志更新缓存:记录缓存数据是否过期(设置提前量),如果过期会触发通知另外的线程在后台去更新实际 key 的缓存。
  • 将缓存失效时间分散开:比如可以在原有的失效时间基础上增加一个随机值,比如 1-5 分钟随机,这样每一个缓存的过期时间的重复率就会降低,就很难引发集体失效的事件。
  1. 设置缓存失效时间时,可以采用随机时间,避免大量缓存在同一时间失效。
  2. 使用分布式缓存,将缓存分散在多台服务器上,当某台服务器出现问题时,仍有其他服务器提供缓存服务。
  3. 使用热点数据永远不过期策略,将热点数据的失效时间设置为永不过期或设置合理的过期时间。

缓存雪崩的解决方案:

  • 使用随机数设置key的过期时间,防止集体过期
  • 设置缓存标记,如果缓存过期,则自动更新缓存
  • 数据库使用排他锁,实现加锁等待

3、缓存击穿 (热点数据集中失效)

  3.1问题描述

   key 对应的数据存在,但在 redis 中过期,此时若有大量并发请求过来,这些请求发现缓存过期一般都会从后端数据库加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把后端数据库压垮

3.2缓存击穿的现象

数据库访问压力瞬时增加,数据库崩溃
redis 里面没有出现大量 key 过期
redis 正常运行

3.3缓存击穿发生的原因

redis 某个 key 过期了,大量访问使用这个 key(热门 key)。

3.4解决方案

 key 可能会在某些时间点被超高并发地访问,是一种非常 “热点” 的数据。

  • 预先设置热门数据:在 redis 高峰访问之前,把一些热门数据提前存入到 redis 里面,加大这些热门数据 key 的时长。
  • 实时调整:现场监控哪些数据热门,实时调整 key 的过期时长。
  • 使用锁:就是在缓存失效的时候(判断拿出来的值为空),不是立即去 load db。先使用缓存工具的某些带成功操作返回值的操作(比如 Redis 的 SETNX)去 set 一个 mutex key。当操作返回成功时,再进行 load db 的操作,并回设缓存,最后删除 mutex key;当操作返回失败,证明有线程在 load db,当前线程睡眠一段时间再重试整个 get 缓存的方法。


缓存击穿的解决方案:

  • 预先对热点数据进行缓存预热
  • 监控数据,实时调整过期时长
  • 数据库使用排他锁,实现加锁等待

缓存问题产生原因解决方案
缓存穿透查询不存在的数据,导致数据库过载1. 布隆过滤器
2. 空值缓存
缓存雪崩大量缓存失效,导致数据库过载1. 分散缓存失效时间
2. 多级缓存
3. 缓存高可用
4. 服务降级限流
缓存击穿热点数据失效,导致数据库过载

1. 热点数据永不过期
2. 使用互斥锁

3、预先对热点数据进行缓存预热

穿透

指的是针对不存在于缓存中的数据进行大量请求,导致这些请求直接访问数据库。这可能是因为恶意请求或者查询不存在的键导致的。

击穿

发生在某个热点数据过期后,此时有大量并发请求同时访问该热点数据,导致大量请求直接访问数据库。

雪崩

指的是缓存中大量的数据同时失效,导致大量请求直接访问数据库,造成数据库负载剧增


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/791811.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot快速入门笔记(3)

文章目录 一、MybatisPlus1、ORM2、添加依赖3、全局配置4、Navicat5、UserController6、CRUD操作7、BaseMapper8、两个注解 二、多表查询1、模拟用户订单2、通过用户查相关订单3、UserMapperNew4、查询订单和所属用户5、OrderMapper6、OrderController 三、条件查询四、分页查询…

【Ubuntu】用 VMware 安装 macOS

本教程使用 Ubuntu 20.04.6 LTS,VMware Workstation Pro 17.5.1,macOS Sonoma 14.4。文中所有需要的下载链接均以 Markdown 的形式体现在文字上。 下载 VMware Workstation Pro,目前最新版本是 17.5.1。 使用密钥,进行破解。 VM…

金融中的数学知识

随机偏微分方程相比普通偏微分方程具有额外的随机项,反映了其描述的现象具有随机性质

SpringCloud微服务治理

微服务治理(Microservice Governance)是管理微服务架构中的各个组件和服务的关键活动,它确保服务间的协作、一致性以及整个系统的稳定性。以下是一些常见的微服务治理策略和工具: 服务注册与发现 Spring Cloud Netflix Eureka:用于服务注册与发现,让服务之间能够找到彼…

【核弹级安全事件】XZ Utils库中发现秘密后门,影响主要Linux发行版,软件供应链安全大事件

Red Hat 发布了一份“紧急安全警报”,警告称两款流行的数据压缩库XZ Utils(先前称为LZMA Utils)的两个版本已被植入恶意代码后门,这些代码旨在允许未授权的远程访问。 此次软件供应链攻击被追踪为CVE-2024-3094,其CVS…

中国大学生计算机设计大赛—软件应用与开发赛道—赛后感想

1.比赛介绍 中国大学生计算机设计大赛是我国高校面向本科生最早的赛事之一,是全国普通高校大学生竞赛排行榜榜单赛事之一。自2008年开赛至2019年,一直由教育部高校与计算机相关教指委等或独立或联合主办。大赛的目的是以赛促学、以赛促教、以赛促创&…

遥感卫星影像选择

自然资源卫星遥感云服务平台 进入网站页面,分别进行影像查询-查询条件-行政区,进行地区的选择。 采集时间设置 波段选择 可见光、高光谱和雷达是不同类型的遥感技术,它们在原理、应用和获取数据方面有一些显著区别: 可见光遥感…

一些题目学习

1.打开文件添加helloworld public class Saier {public static void main(String[] args){String path"C:\\Users\\sjg\\Desktop\\abc.txt";String text"hello world";try {File file new File(path);FileWriter fileWriter new FileWriter(file,true);…

阴影画图转html

深受启发 https://segmentfault.com/a/1190000014943400?utm_sourcetag-newest https://gitee.com/yun-36/shadow-drawing 通过File对象,读成dataURL,生成图片,挂到canvas,生成图片文件对应的rgba数据像素点信息,处理…

ideaSSM 校园兼职招聘平台bootstrap开发mysql数据库web结构java编程计算机网页源码maven项目

一、源码特点 idea 开发 SSM 校园兼职招聘平台是一套完善的信息管理系统,结合SSM框架和bootstrap完成本系统,对理解JSP java编程开发语言有帮助系统采用SSM框架(MVC模式开发),系统具有完整的源代码和数据库&#xff…

探索设计模式的魅力:揭秘B/S模式在AI大模型时代的蜕变与进化

​🌈 个人主页:danci_ 🔥 系列专栏:《设计模式》《MYSQL应用》 💪🏻 制定明确可量化的目标,坚持默默的做事。 🚀 转载自热榜文章:探索设计模式的魅力:揭秘B/S…

小波降噪基础-python版本

这篇小文将使用小波多分辨分析对一个简单信号进行降噪,主要是降噪流程,为以后的小波更复杂的降噪算法打下良好的基础。降噪算法流程大致如下: (1)去趋势项(如直流电流),并将数据归一…

不能在主机和虚拟机之间拷贝文本(虚拟机ubuntu16.04)

问题 ubuntu16.04不能在主机和虚拟机之间拷贝文本。 原因 vmware tools没安装好。 解决办法 重新安装vmware tools,步骤入下: 让虚拟机加载C:\Program Files (x86)\VMware\VMware Workstation\linux.iso光盘文件,设置如下: …

查找

题源怎么写着递归那么的步履蹒跚呢 题目描述 输入 n 个不超过 10^9 的单调不减的(就是后面的数字不小于前面的数字)非负整数 a1​,a2​,…,an​,然后进行 m 次询问。对于每次询问,给出一个整数 q,要求输出这个数字在序…

三菱数据类型

有符号16位整数型int 取值范围-32768~32767 表示方式K(如K2) 无符号位的16位整数型word 取值范围0~65535 表示方式K(如K2) 有符号位的32位整数型DINT-214783648~2147483647 表示方式K(如K2) 无符号位的32位整数型DWORD0到4,294,967,295 表示方式K(如K2) 浮点数使用E表示&am…

代码随想录算法训练营第30天|LeetCode236.二叉树的最小公共祖先

代码随想录算法训练营第30天|LeetCode236.二叉树的最小公共祖先 1、LeetCode236.二叉树的最小公共祖先 236. 二叉树的最近公共祖先 - 力扣(LeetCode) 自底向上查找,有点难度! | LeetCode:236. 二叉树的最近公共祖先_哔…

layui框架实战案例(26):layui-carousel轮播组件添加多个Echarts图标的效果

在Layui中,使用layui-carousel轮播组件嵌套Echarts图表来实现多个图表的展示。 css层叠样式表 调整轮播图背景色为白色;调整当个Echarts图表显示loading…状态;同一个DIV轮播项目添加多个Echarts的 .layui-carousel {background-color: #f…

Android开发之View Binding全面解析

引言 在安卓开发中,视图绑定是一个关键的步骤,它允许开发者将布局文件中的视图组件与Activity或Fragment中的成员变量关联起来。这一机制不仅使得UI操作更加便捷,而且提高了开发效率。本文主要探讨了安卓开发中的一项重要技术——View Bindin…

【Qt】使用Qt实现Web服务器(十):前端基础

1、简述 本人对HTML元素不熟悉,利用QtWebApp加载静态页面来熟悉下HTML元素。 2、测试代码 # a)main中创建 HttpListener new HttpListener(listenerSettings,new RequestMapper(&app),&app);#

js教程(11)

一、Window对象 1.BOM(浏览器对象模型) BOM(Browser Object Model)是JavaScript中用来与浏览器交互的一组对象。BOM提供了访问和控制浏览器窗口、历史记录、定时器、以及与浏览器进行通信的能力。 BOM包括以下一些常用的对象&…