Redis系列-3 Redis缓存问题

1.缓存的作用

数据库(如Mysql)的持久化特点带来了较低的性能,高并发的场景下,连接池很快被耗尽而出现宕机或DOS,无法继续对外提供服务。相对于数据库的硬盘IO,缓存中间件基于内存进行读写,从而具备较大的吞吐量和高并发抵抗能力。

在服务器与数据库之间添加一层缓存,一方面可以缓解数据库压力,适应高并发场景;另一方面可以提高服务器的响应速度(内存读写速度远高于磁盘IO),具体流程如下所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1Llifcjw-1714982408769)(C:\Users\0216001379\AppData\Roaming\Typora\typora-user-images\1714965497585.png)]
引入缓存后,服务器会先从缓存服务器查询,若数据不存在,才会从数据库查询,并将数据库查询结果写入缓存服务器。当数据被缓存至缓存服务器后,服务器后续直接从内存读取,不再经过数据库。

数据库中的数据都多写少,而且一般而言遵循二八定律,即20%为热点数据,80%为不常用数据。内存资源较为宝贵,所以希望缓存中尽可能多的是热点数据;过期时间、续期等机制为其提供了一个很好的解决方案。

Redis是缓存常用的方案,本文介绍的缓存服务器默认指Redis,数据库默认指代Mysql。Redis中以键值对的形式存放数据。Redis之所以可以保护Mysql,是因为过滤了绝大部分请求压力,当这部分压力透过Redis直接转移到Mysql时, 会导致Mysql服务宕机。有三种场景会导致这个问题,以下分章节进行介绍。

2.缓存穿透

当访问数据库中不存在的数据时,也不会将数据缓存到Redis中,从而每次请求都直接访问数据库,如同穿透了缓存一样。攻击者可以借此绕开Redis的缓存保护,供给服务器的数据库,如Mysql数据库的ID为自增序列时,高并发查询ID为-1的数据。

如下图所示,Redis和Mysql中不存在数据C,客户端高并发请求C数据时,请求会全部发送到Mysql中。

在这里插入图片描述
存在以下解决方案:

方案1:缓存空值
查询数据据库的结果为空时,在Redis中缓存空值并设置较短的有效时间。对于每个不存在的数据都缓存一个空值,可能导致Redis中缓存了大量无效的空值,占据内存空间;另外,在空值的有效期内,可能出现数据不一致情况(数据在数据库中被添加了)。

方案2:布隆过滤器
布隆过滤器基于Hash函数和长数组实现,特点是可能误判(不存在表示一定不存在,存在表示可能存在)和不可删除,当数据变化时,需要重建(定时器执行)布控过滤器。

使用布隆过滤器的流程如下:
初始化:
在这里插入图片描述

处理请求:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kZZX3Xdt-1714982408771)(C:\Users\0216001379\AppData\Roaming\Typora\typora-user-images\1714982323034.png)]

在《Redis系列-1 Redis介绍》中对Redission库仅介绍了分布式锁API的使用方式,除此之外,Redission库还提供了大量分布式操作的API,如布隆过滤器等。

3.缓存击穿

Redis中存放的热点数据存在过期时间,当热点数据过期后,客户端的请求会穿过Redis直达数据库。如下所示,Redis中数据C是个热点数据,当数据C在Redis中过期而被清除后,高并发请求数据C时,请求会直达Mysql。
在这里插入图片描述

存在以下解决方案:

方案1:加分布式锁

查询数据库前,获取分布式锁,结合DCL可以保证每个热点数据仅有一次查询发送到数据库。

方案2:热点数据持续刷新

服务初始化时,将热点数据刷入Redis中,同时启动一个定时服务:定时更新热点数据的过期时间。另外,对于特殊业务场景下,可以设置热点数据永不过期。

3.缓存雪崩

当Redis中大量缓存过期或者Redis服务器宕机,会导致Redis对于这些数据的拦截失败,请求会发送到Mysql.
在这里插入图片描述

根据不同的原因,存在如下对应解决方案:

方案1:缓存预热
启动时进行缓存预热,将热点数据提前写入Redis缓存中,避免系统启动时高并发访问Mysql.

方案2:缓存时间添加随机值
缓存时间添加指定范围的随机值,防止缓存集中失效。

方案3:部署Redis集群
Redis宕机会导致缓存数据全局失效,可通过部署Redis集群提高可用性。

另外,还可通过添加分布式锁来压缩请求速度,从而给数据库争取处理时间;由于严重影响吞吐量,使用较少。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/10931.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot:注解详解

RequestMapping 注解在类上:表示该类中所有响应请求的方法都以此地址为父路径 value(path) 指定请求的实际访问地址,默认RequestMapping(“url”)的值url即为value的值。指定的地址可以是 URI Template 模式。 method 指定请求的method类型…

数据结构(四)——二叉树和堆(下)

制作不易,三连支持一下呗!!! 文章目录 前言一、二叉树链式结构的实现总结 前言 这篇博客我们将来了解普通二叉树的实现和应用,对大家之前分治和递归的理解有所挑战。 一、二叉树链式结构的实现 1.前置说明 在学习二叉…

Java入门——继承和多态(上)

包 包是组织类的一种方式. 使用包的主要目的是保证类的唯一性. 例如, 你在代码中写了一个 Test 类. 然后你的舍友也可能写一个 Test 类. 如果出现两个同名的类, 就会冲突, 导致 代码不能编译通过. 导入包中的类 Java 中已经提供了很多现成的类供我们使用. 例如 public cla…

服装店会员管理系统结合小程序商城帮你挖掘出潜在客户

在现代社会,随着科技的不断进步和人们消费习惯的变化,传统的服装店已经不再能够满足消费者的需求。为了更好地服务客户,提升销售业绩,许多服装店开始引入会员管理系统,并结合小程序商城,实现线上线下的无缝…

LeetCode-2079. 给植物浇水【数组 模拟】

LeetCode-2079. 给植物浇水【数组 模拟】 题目描述:解题思路一:简单的模拟题,初始化为0,考虑先不浇灌每一个植物解题思路二:初始化为n,考虑每一个植物需要浇灌解题思路三:0 题目描述&#xff1a…

在ubuntu安装Docker容器

1、进入root用户模式 sudo -i 回车后,输入root的密码即可进入root模式2、在ubuntu上安装docker (1)直接使用 apt 安装,一般这样也自动启动好了 apt install docker.io3、验证安装成功,以及启动与校验 (…

C++11:常用语法汇总

目录 🍁统一的列表初始化 { }initializer_list 🍁decltype 推导表达式类型🍁可变参数模板解析可变参数包方法一方法二 🍁lambda 表达式捕捉列表的使用运用场景举例lambda表达式 与 函数对象 🍁统一的列表初始化 { } 在…

STM32F407-驱动SHT41采集温湿度

STM32F407-驱动SHT41采集温湿度 SHT41 SHT41通过I2C方式进行驱动 从机地址: 0x44 获取数据方式 1)先发送I2C写,写入特定指令 2)延时一段时间,等待SHT41处理 3)再进行I2C读,读数据即可 一些…

Ansible(二)

一、Playbook基础 1.1 Playbook定义 Playbook其实是Ansible服务的一个配置文件,Ansible使用Playbook的YAML语言配置编写成操作需求,实现对远端主机或策略部署,实现对远端主机的控制与管理。 1.2 Playbook组成 Tasks:任务&…

【Qt 学习笔记】Qt常用控件 | 布局管理器 | 垂直布局Vertical Layout

博客主页:Duck Bro 博客主页系列专栏:Qt 专栏关注博主,后期持续更新系列文章如果有错误感谢请大家批评指出,及时修改感谢大家点赞👍收藏⭐评论✍ Qt常用控件 | 布局管理器 | 垂直布局Vertical Layout 文章编号&#x…

skynet - spinlock 简单的自旋锁

spinlock.h 代码位于: https://github.com/cloudwu/skynet/blob/master/skynet-src/spinlock.h 该文件内,根据不同环境提供了 3 种 api 实现: pthread_mutex_t 系列函数gcc 内置原子操作函数std atomic 系列函数 看了下,效率最…

渗透测试-信息收集

网络安全信息收集是网络安全领域中至关重要的一环,它涉及到对目标系统、网络或应用进行全面而细致的信息搜集和分析。这一过程不仅有助于理解目标网络的结构、配置和潜在的安全风险,还能为后续的渗透测试、风险评估和安全加固提供有力的支持。 在网络安…

安卓开发--新建工程,新建虚拟手机,按键事件响应(含:Android中使用switch-case遇到case R.id.xxx报错)

安卓开发--新建工程,新建虚拟手机,按键事件响应 1.前言2.运行一个工程2.1布局一个Button2.2 button一般点击事件2.2 button属性点击事件2.2 button推荐点击事件(含:Android中使用switch-case遇到case R.id.xxx报错) 本…

MATLAB 多项式

MATLAB 多项式 MATLAB将多项式表示为行向量,其中包含按幂次降序排列的系数。例如,方程P(x) X 4 7 3 - 5 9可以表示为 p [1 7 0 -5 9]; 求值多项式 polyval函数用于求一个特定值的多项式。例如,在 x 4 时,计算我们之前的多项式…

HTTP URL 详解

概述 URL 提供了一种定位因特网上任意资源的手段&#xff0c;大多数 URL 语法都由以下九个结构的通用格式组成&#xff1a; <scheme>://<user>:<password><host>:<port>/<path>;<params>?<query>#<frag> 方案&#…

命令重装Linux系统,无需登录控制面板

命令重装Linux系统&#xff0c;无需登录控制面板 部分无法登录控制面板使用这个脚本 自动安装安装脚本 wget https://lyvba.com/auto.sh bash auto.sh -d 12 -v 64 -a -p $passwd \--mirror https://mirrors.ustc.edu.cn/debian/安装命令参考 # 自动安装 Debian 10 buster …

基于YOLOV8复杂场景下船舶目标检测系统

1. 背景 海洋作为地球上70%的表面积&#xff0c;承载着人类生活、经济发展和生态系统的重要功能。船舶作为海洋活动的主要载体之一&#xff0c;在海上运输、资源开发、环境监测等方面发挥着重要作用。复杂海洋环境下的船舶目标检测成为了海事管理、海洋资源开发和环境保护等领…

人工智能轨道交通行业周刊-第79期(2024.4.22-5.12)

本期关键词&#xff1a;无人机巡检、车机联控、减速顶、Agent、GraphRAG、RAGFlow 1 整理涉及公众号名单 1.1 行业类 RT轨道交通人民铁道世界轨道交通资讯网铁路信号技术交流北京铁路轨道交通网铁路视点ITS World轨道交通联盟VSTR铁路与城市轨道交通RailMetro轨道世界铁路那…

2024OD机试卷-API集群负载统计 (java\python\c++)

题目:API集群负载统计 题目描述 某个产品的RESTful API集合部署在 服务器 集群的多个节点上,近期对客户端访问日志进行了采集,需要统计各个API的访问频次,根据热点信息在服务器节点之间做负载 均衡,现在需要实现热点信息统计查询功能。 RESTful API是由多个层级构成,层…

《动手学深度学习》V2(11-18)

文章目录 十一、二 模型选择与过拟合和欠拟合1、模型的选择2、过拟合和欠拟合3、估计模型容量4、线性分类器的VC维5、过拟合欠拟合的代码实现 :fire:①生成数据集②定义评估损失③定义训练函数④三阶多项式函数拟合⑤线性函数拟合(欠拟合)⑤高阶多项式函数拟合(过拟合) 十三、权…