Redis 缓存击穿、缓存穿透、缓存雪崩的处理方法

常用的分布式缓存Redis单机并发量能达到万级,常用的关系型数据库MySQL一般并发量是千级,他们支持的并发量可能差十倍,所以要尽可能把流量拦截在缓存层。

缓存击穿

一个并发访问量比较大的key在某个时间过期,导致所有的请求直接打在DB上。这就叫缓存击穿,这会增大数据库的负载。
在这里插入图片描述

如何解决缓存击穿?

1、加锁更新:查询缓存,发现缓存中不存在,加锁,让其他线程等待,只让一个线程去更新缓存

2、异步更新:把缓存设置成永不过期,后台设置一个守护线程定时更新缓存,但这种定时比较难以把控。此机制更适合用于缓存预热

缓存穿透

缓存穿透指的是查询缓存和数据库中都不存在的数据,这样每次请求就会直接打到数据库上,相当于缓存不存在了,缓存失去了保护后端存储的意义。缓存穿透可能会使得后端存储负载加大,如果发现大量存储层空命中,可能就是出现了缓存穿透问题。
在这里插入图片描述

缓存穿透可能有两种原因:

1、自身业务代码问题

2、恶意攻击,爬虫造成空命中

如何解决缓存穿透?

1、缓存空值/默认值

在数据库不命中之后,把一个空对象或者默认值保存到缓存,之后再访问这个数据,就会从缓存中获取,这样就保护了数据库

在这里插入图片描述

缓存空值会有两个问题:

1、空值做缓存,意味着缓存层存了更多的key,需要更多的内存空间。比较有效的方法时针对这类数据设置一个较短的过期时间,让其自动剔除

2、缓存层和存储层的数据都会有一段时间窗口不一致,可能会对业务有一定影响,如果过期时间设置为5分钟,如果此时存储层添加了这个数据,那么此段时间就会出现缓存曾和存储层数据不一致。

此时可以利用消息队列或者其他异步方式清理缓存中的空对象

2、布隆过滤器

可以再存储和缓存之前加一个布隆过滤器,做一层过滤。

在这里插入图片描述

布隆过滤器优点类似于哈希表,它是一个连续的数据结构,每个存储位都是一个bit,用0或1来标识数据是否存在。存储数据的时候,使用K个不同的哈希函数将这个变量映射到bit列表的K个点,把它们置1。

我们判断缓存key是否存在的时候,同样使用K个对应的哈希函数,映射到bit列表上的K个点,判断是不是1。

如果不是全1,那么说明key不存在。如果都是1,说明key可能存在(因为哈希函数是存在碰撞的)。

总结以下缓存穿透解决方案:

ey不存在。如果都是1,说明key可能存在(因为哈希函数是存在碰撞的)。

总结以下缓存穿透解决方案:

解决缓存传统适用场景维护成本
缓存空对象数据命中不高;数据频繁实时性高代码维护简单;需要较多的缓存空间;数据不一致
布隆过滤器数据命中不高;数据相对固定,实时性低代码维护复杂;缓存空间占用少

缓存雪崩

指的是在某一时刻发生大规模的缓存失效的情况,例如缓存服务器宕机、大量key在同一时间过期,这样的后果就是大量的请求进来直接打在数据库上,可能导致整个系统崩溃,称为雪崩。
在这里插入图片描述

缓存雪崩式问题该如何预防和处理?
1、提高缓存可用性

  • 集群部署:通过集群提升缓存的可用性,利用redis本身的redis cluster或者第三方集群方案
  • 多级缓存:设置多级缓存,第一季缓存失效的基础上,访问二级缓存,每一级缓存的失效时间都不一样

2、合理设置过期时间

  • 均匀过期:为了避免大量的缓存在同一时间过期,可以把不同的key过期时间随机生成,避免时间太过集中
  • 热点数据永不过期

3、熔断降级

  • 服务熔断:当缓存服务器宕机或者超时响应时,为了防止整个系统出现雪崩,暂时停止业务服务访问缓存系统
  • 服务降级:当出现大量缓存失效,而且处在高并发高负荷的情况下,在业务系统内部暂时舍弃对一些非核心的接口和数据的请求,而是直接返回一个提前准备好的fallback错误处理信息

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/376868.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

图像处理基础

图像处理基础 在计算机中,按照颜色和灰度的多少可以将图像分为二值图像、灰度图像、索引图像和真彩色RGB图像四种基本类型。目前,大多数图像处理软件都支持这四种类型的图像。 (1) 二值图像:一幅二值图像的二维矩阵仅由0、1两个值构成&#x…

缓存一致性解决方法

对于缓存 数据库读写,有个经典的Cache Aside Pattern: 读取:先读取缓存,缓存里没有,读取数据库,然后返回响应,顺便保存缓存: 更新:先更新数据库,然后删除缓…

使用SpringMVC的表单验证

上一篇搭建了基本项目,这一篇在此基础上加入表单验证功能。 第一步,添加command类 Java代码 package test.bean; import javax.validation.constraints.Size; public class User { Size(min3,max30) private String username; …

单体、分布式、微服务、Serverless软件架构一览

目录软件架构单体架构分布式应用微服务架构Serverless架构总结Reference软件架构 软件架构就是软件的基本结构,合适的架构是软件成功的最重要因素之一。这里列举了目前流行的4种软件架构。 单体架构 典型的三级架构:前端(web/手机端&#…

Midjourney V6刷屏,但它最可怕的地方居然不是那些神图?

Midjourney在沉寂九个月后推出了Midjourney V6,这个文生图产品体现出的更细腻的细节处理,更强大的语言理解能力和更加“不像AI”的图片效果在过去几天引发一片惊呼。 作为一个闭源的模型产品,Midjourney的魔法配方并不为人所知,但…

连续内存分区式内存管理

目录前言分区式内存管理动态分区内存管理总结本笔记参考黄工的https://mp.weixin.qq.com/s/k0W_LqI1zBAYC1GU1U2HQA 前言 内存管理模块主要负责内存的初始化、分配以及释放。 从分配内存是否连续可以分为两大类: 1、连续内存管理 为进程分配的内存空间是连续的&a…

用DEVC++作图

小海豚学NOIP,老师说要用DEV C。 小海豚喜欢画图,记得以前用C#编些程序给她看。可前一阵打开看,我的免费Visual Studio过期了。可恶的Microsoft ,不想用盗版难道就要每个月就下载一次? 于是就用DEV C的Windows调用吧。…

Python服务器开发三:Socket

Python服务器开发三:Socket socket是操作系统中I/O的延续,它可以使进程和机器之间的通信成为可能。socket可以看成一个标准的文件描述符。不同的是文件需要用open()函数打开,而socket用socket() 函数建立.recv()、send()函数和read()、write(…

Linux命令常见

摘自: 常考的 21 条 Linux 命令 目录)cd,切换路径ls,查看文件与目录的命令cp,用于复制文件mv,用于移动文件、目录cat,查看文件内容find,文件搜索文件权限命令, 设置权限,-取消权限文本处理命令打包和压缩文件命令进程相…

OSGi.NET 学习笔记 [模块化和插件化][小结]

【目录】-【模块化和插件化】-【小结】 现在我们来对OSGi.NET的“模块化和插件化”做一个小结,再次把官方的说明拿出来  1) 物理隔离:基于UIOSP开发的模块是一个物理隔离的可单独部署的模块,每一个模块拥有独立的文件夹、类型空…

raft算法学习(一):角色概念以及选举过程

Raft算法是强领导模型,集群中只能有一个领导。 下面是raft的视频讲解: raft raft的三种角色及其概念 服务器节点状态一共有三种:领导者(Leader)、跟随着(Follower)、候选人(Candid…

git日常使用教程

目录git日常使用git 基础用法(本地)git branchgit checkoutgit mergegit rebaseHEAD ,在提交树上移动相对引用强制修改分支位置撤销变更整理提交记录提交技巧Git TagsGit Describegit 基础用法(远程)git fetchgit pullgit push偏离的提交历史,十分重要!&…

android一键分享功能不使用任何第三方sdk

在android中有自带的一键分享功能,不过它会把所有带分享的应用都找出来,如果我们只需要一些常见的分享应用,该如何做呢? 下面看我的效果图(横屏和竖屏自动适配): 接下来看我的调用(支…

CMake学习使用(基于vscode)

目录语法一些重要指令CMake常用变量CMake编译工程编译流程两种构建方式实例展示参考: 基于VSCode和CMake实现C/C开发 | Linux篇 语法 基本语法格式:指令(arg1 arg2 …) 参数使用括弧括起来参数之间使用空格或者分号分开 指令是大小写无关的&#xff0…

DNS安全浅议、域名A记录(ANAME),MX记录,CNAME记录

相关学习资料 http://baike.baidu.com/link?url77B3BYIuVsB3MpK1nOQXI-JbS-AP5MvREzSnnedU7F9_G8l_Kvbkt_O2gKqFw7vm http://www.rfc-editor.org/rfc/rfc1035.txt http://www.rfc-editor.org/rfc/rfc3596.txt http://www.rfc-editor.org/rfc/rfc2782.txt http://www.rfc-edito…

【blade利刃出鞘】一起进入移动端webapp开发吧

前言 在移动浪潮袭来的时候,小钗有幸进入框架组做webapp框架开发,过程中遇到了移动端的各种坑,也产生了各种激情,就我们公司的发展历程来说 第一阶段:使用传统方式开发移动站点,少量引入HTML5元素 第二阶段…

Android静态图片人脸识别的完整demo(附完整源码)

Demo功能&#xff1a;利用android自带的人脸识别进行识别&#xff0c;标记出眼睛和人脸位置。点击按键后进行人脸识别&#xff0c;完毕后显示到imageview上。 第一部分&#xff1a;布局文件activity_main.xml [html] view plaincopyprint?<RelativeLayout xmlns:android&qu…

图论:最短路径搜索--Dijkstra算法(c代码实现)

最近因为辞职&#xff0c;有不少闲功夫&#xff0c;重温下数据结构&#xff0c;顺便练练手。今天说说最短路径搜索算法中的Dijkstra原理和实现。 一&#xff1a;简介 这个算法用于解决图中单源最短路径问题。所谓单源节点是指给定源节点&#xff0c;求图中其它节点到此源节点的…

C++多线程快速入门(五)简单线程池设计

目录设计思路主线程运行逻辑task以及taskpool设计详细流程讲解完整代码打印结果往期回顾设计思路 线程池实际上就是一组线程&#xff0c;当我们需要异步执行一些任务时&#xff0c;经常要通过OS频繁创建和销毁线程&#xff0c;不如直接创建一组在程序生命周期内不会退出的线程…

C++网络编程快速入门(一):TCP网络通信基本流程以及基础函数使用

目录流程概述服务器端代码实现客户端代码实现函数和结构讲解sockaddr_in和sockaddrsocket &#xff1a; 创建一个socket连接bind &#xff1a;绑定地址以及端口号问题流程概述 客户端与服务器之间的网络通信基本原理如下所示&#xff0c;复杂一点的架构可能会添加消息中间件。…