引入缓存带来的问题以及解决方案

目录

前言

问题与解决方案

缓存击穿

缓存穿透

缓存雪崩

缓存一致性


前言

在提升接口性能的方案中,毫无疑问,使用缓存是最有效果的,但同时也会带来新的问题。

  1. 缓存击穿
  2. 缓存穿透
  3. 缓存雪崩
  4. 缓存一致性

以上问题都是引入缓存需要考虑的,在设计时就需要做好相应的解决措施。

问题与解决方案

缓存击穿

缓存击穿是指在高并发的情况下,某个热点key突然失效或者未被缓存,导致大量请求直接穿透到后端数据库,从而使得数据库负载过高,甚至崩溃的问题。

这种情况通常发生在缓存中的热点数据过期或失效时,由于并发用户特别多,读缓存没读到数据后同时去数据库中取数据,引起数据库压力瞬间增大。

解决方案

  1. 设置热点数据永不过期:对于基本不会发生更新的热点数据,可以将其设置为永不过期,以避免缓存击穿的发生。但这种方法需要谨慎使用,以免影响数据的实时性。
  2. 使用分布式锁:在缓存失效时,通过分布式锁(如Redis、zookeeper等)控制只有一个线程去数据库查询并更新缓存,其他线程则等待锁释放后访问缓存。
  3. 缓存预热:在系统启动或低峰时段,预先将热点数据加载到缓存中,避免在高并发时从数据库加载数据。

缓存穿透

缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时需要从数据库查询,而查询的结果在数据库中也不存在,因此不会写入缓存。这将导致这个不存在的数据每次请求都要到数据库去查询,进而给数据库带来压力。

当用户或系统查询一个在数据库中不存在的数据时,由于缓存中没有缓存该数据(因为数据本身不存在),每次查询都会失败并直接访问数据库。

解决方案

  1. 使用布隆过滤器:同缓存击穿中的布隆过滤器使用方式,对于不存在的数据直接返回空结果,避免无效的数据库查询。
  2. 空值缓存:对于查询结果为空的数据,也将其缓存起来(但设置一个较短的过期时间),这样再次查询相同的数据时就可以直接从缓存中返回空结果,避免查询数据库。

缓存雪崩

缓存雪崩是指缓存中数据大批量到过期时间,而查询数据量巨大,引起数据库压力过大甚至down机。

当缓存中大量数据同时过期时,如果此时有大量请求需要访问这些数据,那么这些请求都会直接穿透到数据库,导致数据库压力骤增。

解决方案

  1. 随机过期时间:在设置缓存的过期时间时,采用随机时间策略,避免大量缓存同时过期。
  2. 限流降级:在缓存雪崩发生时,通过限流措施限制对数据库的访问频率,同时开启降级策略,将一些非核心功能暂时关闭或简化处理。

缓存一致性

在非并发情况下,由于写数据库和更新缓存之间存在时间差,所以在这段时间差内,就会出现数据不一致问题,即缓存的数据和数据库中的数据不一致。

而在并发情况下,存在写写并发和读写并发的情况,同样也会导致缓存与数据库数据不一致。

写写并发(有两种写入方式:先操作数据库再操作缓存,先操作缓存再操作数据库;这里以先操作数据库再操作缓存为例)

写线程写线程
写数据库 写入100
写数据库 写入200
写缓存 写入200
写缓存 写入100

读写并发

写线程读线程
读缓存 缓存无值
读数据库 读取200
写数据库 写入100
写缓存 写入100
写缓存 写入200

解决方案

保证数据库和缓存的数据一致性,有两种方式

  1. 更新缓存
  2. 删除缓存

如果选择更新缓存,无论是先更新缓存再更新数据库,还是先更新数据库再更新缓存,只要第二个更新操作除了问题,就会出现缓存不一致问题了。

如果选择删除缓存,如果是先先更新数据库再删除缓存,那么如果删除缓存操作失败了,那么还是会出现缓存不一致问题。如果是先删除缓存再更新数据库,即使第二步更新数据库失败了,由于缓存被删除了,下一次读取则会从数据库中获取再写入缓存中,不会出现缓存不一致问题。

所以应当采用先删除缓存,再更新数据库的策略来保证缓存一致性

但是采用删除缓存的策略,实际上就会放大了读写并发问题,在高并发场景下,同样会出现缓存不一致问题。为了解决这个问题,可以使用延迟双删的方案,在一定程度上解决。

延迟双删实际上就是在先删除缓存,再更新数据库的基础上,延时一小段时间再去删除缓存。如果真的出现了读写并发导致的缓存不一致问题,延迟删除缓存的操作能够将旧的缓存值删掉,从而解决数据不一致问题。但这种写法实际上是对错误的一个补偿措施,并没有彻底地解决高并发下的缓存一致性问题。

如果业务上真的需要做到强一致性,则只能使用分布式锁来控制了,更新数据库和更新缓存的操作使用同一把分布式锁,但是这样就与高并发没有啥关系了。

如果业务上只需要做到最终一致性的话,使用先删缓存再写数据库,或者是使用延迟双删就能实现了,也可以借助中间件来实现数据库与缓存的数据一致性(MySQL使用canal来同步),但是引入新的中间件实际上又得考虑新的问题,延迟双删针对绝大部分场景实际上就够用了,所以这里就不展开讲了(也没有在实际场景下使用过,我不会

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/49054.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

react入门到实战-day2-7.21

昨天晚上刚学完已经一点了,来不及写笔记,主要是想睡觉哈,所以今天补上,我发现效率还挺高的,今天重新做笔记,加固了昨天的知识点,要不以后都这样子哈,学完第二天再写哈,要…

【Linux】从零开始认识多线程 --- 线程ID

在这个浮躁的时代 只有自律的人才能脱颖而出 -- 《觉醒年代》 1 前言 上一篇文章中讲解了线程控制的基本接口: 线程创建pthread_create(pthread_t *thread, const pthread_attr_t *attr, void *(*start_routine) (void *), void *arg);: pthread_t *thread :输出…

OpenCV分水岭算法watershed函数的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 描述 我们将学会使用基于标记的分水岭算法来进行图像分割。我们将看到:watershed()函数的用法。 任何灰度图像都可以被视为一个地形表…

【数据结构_C语言】归并排序—文件类型

文章目录 1.排序定义2. 代码实现 1.排序定义 内排序:数据量相对少一些,可以放到内存中排序。 外排序:数据量较大,内存中放不下,数据放到磁盘文件中,需要排序。 归并排序: 2. 代码实现 void…

Flask 框架 redirect() url_for()

url_for url_for 函数根据传入的端点名称(即路由函数名)生成对应的 URL。 1. url_for() url_for 函数根据传入的端点名称(即路由函数名)生成对应的 URL。 它接受一个或多个参数,其中第一个参数是路由的名称&#x…

编写DockerFile

将自己的项目或者环境通过Docker部署到服务器需要一下几个步骤: 打包项目或者环境 编写Dockerfile文件 运行Dockerfile文件,构建DockerImages镜像,将DockerImages存入DockerHub或者存入阿里云镜像仓库 服务器pull下DockerImages镜像&#…

挖掘基于边缘无线协同感知的低功耗物联网 (LPIOT) 的巨大潜力

关键词:边缘无线协同感知、低功耗物联网(LPIOT)、无线混合组网、用电监测、用电计量、多角色、计量插座、无线场景感知、多角色运用、后台边缘层,网络边缘层,场景能效管理,场景能耗计算 在数字化和智能化日益加速的今天&#xff…

科普文:重读并翻译分布式计算经典文论-MapReduce

MapReduce计算模型于2003年提出于google,并迅速在google内部被广泛运用在各个领域,因为google存在许多基于大型数据的计算问题,而刚好MapReduce能够同时利用上千台机器进行分布式并行计算。MapRedue易于使用,由于它把并行化、分布…

甄选范文“论面向方面的编程技术及其应”,软考高级论文,系统架构设计师论文

论文真题 针对应用开发所面临的规模不断扩大、复杂度不断提升的问题,面向方面的编程(Aspect Oriented Programming,AOP)技术提供了一种有效的程序开发方法。为了理解和完成一个复杂的程序,通常要把程序进行功能划分和封装。一般系统中的某些通用功能,如安全性、持续性、日…

C++ —— STL简介

1. 什么是STL STL(standard template libaray-标准模板库):是C标准库的重要组成部分,不仅是一个可复用的 组件库,而且是一个包罗数据结构与算法的软件框架 2.STL的版本 原始版本 Alexander Stepanov、Meng Lee 在惠普实验室完成的原始版本…

深度学习优化:Mojo模型中自定义特征的稀疏表示处理

深度学习优化:Mojo模型中自定义特征的稀疏表示处理 在机器学习领域,特征的稀疏表示是一种常见的数据表示方式,尤其在处理文本、图像和网络数据时。Mojo模型,作为模型部署的一种形式,支持将训练好的模型转换为可在不同…

【Java】中的List集合

目录 一、什么是List集合二、List的常用方法List的初始化元素操作1.添加元素2.删除元素3.修改元素4.查询元素 三、List集合的遍历1.for循环遍历2.增强for循环3.迭代器遍历 一、什么是List集合 List集合是最常用的一种数据结构之一。它具有动态扩容、元素添加、删除和查询等基础…

【Linux学习】常用基本指令

🔥个人主页: Forcible Bug Maker 🔥专栏:Linux学习 目录 🌈前言🔥XShell的一些使用查看Linux主机IP使用XShell登录主机XShell下的复制粘贴 🔥Linux下常用基本指令ls指令pwd指令cd指定touch指令…

HarmonyOS应用开发者高级认证,Next版本发布后最新题库 - 单选题序号4

基础认证题库请移步:HarmonyOS应用开发者基础认证题库 注:有读者反馈,题库的代码块比较多,打开文章时会卡死。所以笔者将题库拆分,单选题20个为一组,多选题10个为一组,题库目录如下,…

使用Docker Compose给自己上传的JAR打包成镜像并自动启动容器

Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。通过编写一个docker-compose.yml文件,可以简化Docker容器的管理。本文将介绍如何使用Docker Compose将一个上传的JAR文件打包成Docker镜像,并在容器中自动启动该应用程序。 一、准备工作…

MSP430单片机快速上手CSS开发环境(24电赛省赛)

前言:3天学完MSP430单片机,为了对应电赛,同时写下这篇笔记,用来熟悉对应开发环境,看的懂对应代码。 #MSP430开发环境安装 MSP单片机是TI(德州仪器)半导体厂家产的,一款16位单片机…

【开源库学习】libodb库学习(十一)

12 乐观并发 只要我们在单个数据库事务中执行与特定应用程序事务对应的所有数据库操作,ODB事务模型(第3.5节,“事务”)就保证了一致性。也就是说,如果我们在数据库事务中加载一个对象并在同一事务中更新它,…

【机器学习】机器学习解决的问题特点、机器学习学的是什么、怎么学、如何构建高效机器学习模型的策略、机器学习的分类以及机器学习、模式识别、数据挖掘和人工智能的区别

引言 机器学习是人工智能的一个重要分支,主要解决的是如何通过算法让机器从数据中自动学习规律和知识,以完成特定任务或解决特定问题。 文章目录 引言一、机器学习解决的是什么样的问题1.2 数据驱动的预测问题1.3 数据理解与挖掘1.4 优化与决策问题1.5 异…

如何开启或者关闭 Windows 安全登录?

什么是安全登录 什么是 Windows 安全登录呢?安全登录是 Windows 附加的一个组件,它可以在用户需要登录的之前先将登录界面隐藏,只有当用户按下 CtrlAltDelete 之后才出现登录屏幕,这样可以防止那些模拟登录界面的程序获取密码信息…

华为云技术精髓笔记(四)-CES基础入门实战

华为云技术精髓笔记(四) CES基础入门实战 一、监控ECS性能 1、 远程登录ECS 步骤一 双击实验桌面的“Xfce终端”打开Terminal,输入以下命令登录云服务器。注意:请使用云服务器的公网IP替换命令中的【EIP】。 LANGen_us.UTF-8 ssh rootEIP说明&#x…