【Redis】Redis 典型应用 - 缓存 (cache)

目录

1. 什么是缓存

2. 使用 Redis 作为缓存

3. 缓存的更新策略

3.1 定期生成

3.2 实时生成

4. 缓存的淘汰策略

5. 缓存预热, 缓存穿透, 缓存雪崩 和 缓存击穿

关于缓存预热 (Cache preheating)

关于缓存穿透 (Cache penetration)

关于缓存雪崩 (Cache avalanche)

关于缓存击穿 (Cache breakdown)


1. 什么是缓存

缓存 (cache) 是计算机中的一个经典的概念. 在很多场景中都会涉及到.

核心思路就是把一些常用的数据放到触手可及(访问速度更快)的地方, 方便随时读取.

🐵 举个例子:
比如我需要去高铁站坐高铁. 我们知道坐高铁是需要反复刷身份证的 (进入高铁站, 检票, 上车,
乘车过程中, 出站....).
正常来说, 我的身份证是放在皮箱里的(皮箱的存储空间大, 足够能装). 但是每次刷身份证都需
要开一次皮箱找身份证, 就非常不方便.
因此我就可以把身份证先放到衣服口袋里. 口袋虽然空间小, 但是访问速度比皮箱快很多.
这样的话每次刷身份证我只需要从口袋里掏身份证就行了, 就不必开皮箱了.
此时 "口袋" 就是 "皮箱" 的缓存. 使用缓存能够大大提高访问效率.

🌟 这里所说的 "触手可及" 是个相对的概念.

我们知道, 对于硬件的访问速度来说, 通常情况下:

CPU 寄存器 > 内存 > 硬盘 > 网络

那么硬盘相对于网络是 "触手可及的", 就可以使用硬盘作为网络的缓存.

内存相对于硬盘是 "触手可及的", 就可以使用内存作为硬盘的缓存.

CPU 寄存器相对于内存是 "触手可及的", 就可以使用 CPU 寄存器作为内存的缓存.

对于计算机硬件来说, 往往访问速度越快的设备, 成本越高, 存储空间越小.

缓存是更快, 但是空间上往往是不足的. 因此大部分的时候, 缓存只放一些 热点数据 (访问频繁的数据),就非常有用了.

🍞 关于 "二八定律"
20% 的热点数据, 能够应对 80% 的访问场景.
因此只需要把这少量的热点数据缓存起来, 就可以应对大多数场景, 从而在整体上有明显的性
能提升.

2. 使用 Redis 作为缓存

在一个网站中, 我们经常会使用关系型数据库 (比如 MySQL) 来存储数据.

关系型数据库虽然功能强大, 但是有一个很大的缺陷, 就是性能不高. (换而言之, 进行一次查询操作消耗的系统资源较多).

✍ 为什么说关系型数据库性能不高?
1. 数据库把数据存储在硬盘上, 硬盘的 IO 速度并不快. 尤其是随机访问.
2. 如果查询不能命中索引, 就需要进行表的遍历, 这就会大大增加硬盘 IO 次数.
3. 关系型数据库对于 SQL 的执行会做一系列的解析, 校验, 优化工作.
4. 如果是一些复杂查询, 比如联合查询, 需要进行笛卡尔积操作, 效率更是降低很多.
5. ......

因此, 如果访问数据库的并发量比较高, 对于数据库的压力是很大的, 很容易就会使数据库服务器宕机.

📚 为什么并发量高了就会宕机?
服务器每次处理一个请求, 都是需要消耗一定的硬件资源的. 所谓的硬件资源包括不限于 CPU, 内存, 硬盘, 网络带宽......
一个服务器的硬件资源本身是有限的. 一个请求消耗一份资源, 请求多了, 自然把资源就耗尽
了. 后续的请求没有资源可用, 自然就无法正确处理. 更严重的还会导致服务器程序的代码出现崩溃.

如何让数据库能够承担更大的并发量呢? 核心思路主要是两个:

• 开源: 引入更多的机器, 部署更多的数据库实例, 构成数据库集群. (主从复制, 分库分表等...)
• 节流: 引入缓存, 使用其他的方式保存经常访问的热点数据, 从而降低直接访问数据库的请求数量.

实际开发中, 这两种方案往往是会搭配使用的.

Redis 就是一个用来作为数据库缓存的常见方案.

🦄 Redis 访问速度比 MySQL 快很多. 或者说处理同一个访问请求, Redis 消耗的系统资源比
MySQL 少很多. 因此 Redis 能支持的并发量更大.

•  Redis 数据在内存中, 访问内存比硬盘快很多.

•  Redis 只是支持简单的 key-value 存储, 不涉及复杂查询的那么多限制规则.

就像一个 "护盾" 一样, 把 MySQL 给罩住了.

• 客户端访问业务服务器, 发起查询请求.
• 业务服务器先查询 Redis, 看想要的数据是否在 Redis 中存在.

        ◦ 如果已经在 Redis 中存在了, 就直接返回. 此时不必访问 MySQL 了.
        ◦ 如果在 Redis 中不存在, 再查询 MySQL.

按照上述讨论的 "二八定律" , 只需要在 Redis 中放 20% 的热点数据, 就可以使 80% 的请求不再真正查询数据库了.

当然, 实践中究竟是 "二八", 还是 "一九", 还是 "三七", 这个情况可能会根据业务场景的不同, 存在差
异. 但是至少绝大多数情况下, 使用缓存都能够大大提升整体的访问效率, 降低数据库的压力.

🚅 注意!
缓存是用来加快 "读操作" 的速度的. 如果是 "写操作", 还是要老老实实写数据库, 缓存并不能
提高性能.

3. 缓存的更新策略

接下来还有一个重要的问题, 到底哪些数据才是 "热点数据" 呢?

3.1 定期生成

每隔一定的周期(比如一天/一周/一个月), 对于访问的数据频次进行统计. 挑选出访问频次最高的前 N%的数据.

🥇 以搜索引擎为例.
用户在搜索引擎中会输入一个 "查询词", 有些词是属于高频的, 大家都爱搜(鲜花, 蛋糕, 同城交
友, 不孕不育...). 有些词就属于低频的, 大家很少搜.
搜索引擎的服务器会把哪个用户什么时间搜了啥词, 都通过日志的方式记录的明明白白. 然后
每隔一段时间对这期间的搜索结果进行统计 (日志的数量可能非常巨大, 这个统计的过程可能
需要使用 hadoop 或者 spark 等方式完成). 从而就可以得到 "高频词表" .

这种做法实时性较低. 对于一些突然情况应对的并不好.

比如春节期间, "春晚" 这样的词就会成为非常高频的词. 而平时则很少会有人搜索 "春晚".

3.2 实时生成

先给缓存设定容量上限(可以通过 Redis 配置文件的 maxmemory 参数设定).

接下来把用户每次查询:

• 如果在 Redis 查到了, 就直接返回.
• 如果 Redis 中不存在, 就从数据库查, 把查到的结果同时也写入 Redis.

如果缓存已经满了(达到上限), 就触发缓存淘汰策略, 把一些 "相对不那么热门" 的数据淘汰掉.
按照上述过程, 持续一段时间之后 Redis 内部的数据自然就是 "热门数据" 了.
 

4. 缓存的淘汰策略

通用的淘汰策略主要有以下几种:

下列策略并非局限于 Redis, 其他缓存也可以按这些策略展开.

FIFO (First In First Out) 先进先出

把缓存中存在时间最久的 (也就是先来的数据) 淘汰掉.

LRU (Least Recently Used) 淘汰最久未使用的

记录每个 key 的最近访问时间. 把最近访问时间最老的 key 淘汰掉.

LFU (Least Frequently Used) 淘汰访问次数最少的

记录每个 key 最近一段时间的访问次数. 把访问次数最少的淘汰掉.

Random 随机淘汰

从所有的 key 中抽取幸运儿被随机淘汰掉.

这里的淘汰策略, 我们可以自己实现. 当然 Redis 也提供了内置的淘汰策略, 也可以供我们直接使用:

Redis 内置的淘汰策略如下:

volatile-lru 当内存不足以容纳新写入数据时,从设置了过期时间的key中使用LRU(最近最
少使用)算法进行淘汰

allkeys-lru 当内存不足以容纳新写入数据时,从所有key中使用LRU(最近最少使用)算法进
行淘汰.

volatile-lfu 4.0版本新增,当内存不足以容纳新写入数据时,在过期的key中,使用LFU算法
进行删除key.

allkeys-lfu 4.0版本新增,当内存不足以容纳新写入数据时,从所有key中使用LFU算法进行
淘汰.

volatile-random 当内存不足以容纳新写入数据时,从设置了过期时间的key中,随机淘汰数
据.

allkeys-random 当内存不足以容纳新写入数据时,从所有key中随机淘汰数据.

volatile-ttl 在设置了过期时间的key中,根据过期时间进行淘汰,越早过期的优先被淘汰.
(相当于 FIFO, 只不过是局限于过期的 key)

noeviction 默认策略,当内存不足以容纳新写入数据时,新写入操作会报错.

整体来说 Redis 提供的策略和我们上述介绍的通用策略是基本一致的. 只不过 Redis 这里会针对 "过期key" 和 "全部 key" 做分别处理.

5. 缓存预热, 缓存穿透, 缓存雪崩 和 缓存击穿

关于缓存预热 (Cache preheating)

什么是缓存预热?

使用 Redis 作为 MySQL 的缓存的时候, 当 Redis 刚刚启动, 或者 Redis 大批 key 失效之后, 此时由于Redis 自身相当于是空着的, 没啥缓存数据, 那么 MySQL 就可能直接被访问到, 从而造成较大的压力.

因此就需要提前把热点数据准备好, 直接写入到 Redis 中. 使 Redis 可以尽快为 MySQL 撑起保护伞.

热点数据可以基于之前介绍的统计的方式生成即可. 这份热点数据不一定非得那么 "准确", 只要能帮助MySQL 抵挡大部分请求即可. 随着程序运行的推移, 缓存的热点数据会逐渐自动调整, 来更适应当前情况.

关于缓存穿透 (Cache penetration)

什么是缓存穿透?

指客户端请求的Key在缓存和数据库中都不存在,导致大量这样的请求直接穿透缓存到达数据库,给数据库带来巨大压力,甚至可能导致数据库宕机。

这就会导致数据库承担的请求太多, 压力很大.

这种情况称为 缓存穿透.

为何产生?

原因可能有几种:

• 业务设计不合理. 比如缺少必要的参数校验环节, 导致非法的 key 也被进行查询了.
• 开发/运维误操作. 不小心把部分数据从数据库上误删了.
• 黑客恶意攻击.

如何解决?

• 针对要查询的参数进行严格的合法性校验. 比如要查询的 key 是用户的手机号, 那么就需要校验当前key 是否满足一个合法的手机号的格式.

• 针对数据库上也不存在的 key , 也存储到 Redis 中, 比如 value 就随便设成一个 "". 避免后续频繁访问数据库.

• 使用布隆过滤器先判定 key 是否存在, 再真正查询.

关于缓存雪崩 (Cache avalanche)

什么是缓存雪崩?

短时间内大量的 key 在缓存上失效, 导致数据库压力骤增, 甚至直接宕机.

本来 Redis 是 MySQL 的一个护盾, 帮 MySQL 抵挡了很多外部的压力. 一旦护盾突然失效了, MySQL自身承担的压力骤增, 就可能直接崩溃.

为何产生?

大规模 key 失效, 可能性主要有两种:

• Redis 挂了.
• Redis 上的大量的 key 同时过期.

为啥会出现大量的 key 同时过期?

这种和可能是短时间内在 Redis 上缓存了大量的 key, 并且设定了相同的过期时间.

如何解决?

• 部署高可用的 Redis 集群, 并且完善监控报警体系.
• 不给 key 设置过期时间 或者 设置过期时间的时候添加随机时间因子.

关于缓存击穿 (Cache breakdown)

什么是缓存击穿?

相当于缓存雪崩的特殊情况. 针对热点 key , 突然过期了, 导致大量的请求直接访问到数据库上, 甚至引起数据库宕机.

为何产生?

主要是由于热点数据的缓存过期时间设置不合理,或者在缓存过期后没有及时更新缓存。

如何解决?

• 基于统计的方式发现热点 key, 并设置永不过期.
• 进行必要的服务降级. 例如访问数据库的时候使用分布式锁, 限制同时请求数据库的并发数.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/65832.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

关于easy-es对时间范围查询遇到的小bug

前言:在使用easy-es之前作为一个小白的我只有es原生查询的基础,在自己通过查看官方文档自学easy-es遇到了一个挫折,其他的还好语法和MybatisPlus差不多,正以为我觉得很快就能入手,在对时间范围的判断就给我当头一棒&am…

Python读取TIF文件

在Python中,逐帧读取TIFF文件(尤其是多页TIFF文件)可以使用tifffile库或Pillow库。以下是两种方法的示例: 方法 1:使用 tifffile 逐帧读取 tifffile 是一个专门用于处理TIFF文件的库,支持多页TIFF文件的逐…

只谈C++11新特性 - 显式转换函数

显式转换函数 背景与问题 在 C11 之前&#xff0c;explicit 关键字只能用于构造函数。其作用是阻止构造函数在需要隐式转换时被调用。例如&#xff1a; 示例问题&#xff08;C11 之前的 explicit 用法&#xff09; #include <iostream>class Example { public:explic…

从0到机器视觉工程师(一):机器视觉工业相机总结

目录 相机的作用 工业相机 工业相机的优点 工业相机的种类 工业相机知名品牌 光源与打光 打光方式 亮暗场照明 亮暗场照明的应用 亮暗场照明的区别 前向光漫射照明 背光照明 背光照明的原理 背光照明的应用 同轴光照明 同轴光照明的应用 总结 相机的作用 相机…

HTML——53. 创建表单

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>创建表单</title></head><body><!--form标签用于创建一个表单&#xff0c;会将里面的内容一起发送服务器&#xff0c;其结构类似于表格--><!--表…

逐行讲解大模型流式输出 streamer 源码

目录 简介TextStreamer 基础流式输出TextIterateStreamer 迭代器流式输出本地代码模型加载并前端展示streamlit 输出显示gradio 输出显示 vllm 部署模型并前端展示streamlit 输出显示gradio 输出显示 备注 简介 本文详细讲解了大模型流式输出的源码实现&#xff0c;包括TextSt…

java_使用阿里云oss服务存储图片

什么情况下可以使用阿里云oss服务存储图片&#xff1f; 对图片的访问速度有高要求时使用&#xff0c;方便用户快速的&#xff08;比如在网页页面中&#xff09;访问到图像 参考&#xff1a;41 尚上优选项目-平台管理端-商品信息管理模块-阿里云OSS介绍_哔哩哔哩_bilibili 1.…

第5章 共享内存范式:C语言层面

5.1OpenMP 5.1.1OpenMP的介绍 OpenMP三个原则 5.2OpenMP的使用 编译制导指令以#pragma omp 开始&#xff0c;后边跟具体的功能指令&#xff0c;格式如:#pragma omp 指令[子句[,子句].]。常用的功能指令如下: 5.2.1编译制导 5.2.2API和环境变量 具体案例-邻接矩阵 // 本代码…

全国青少年信息学奥林匹克竞赛(信奥赛)备考实战之循环结构(for循环语句)(七)

实战训练—鸡兔同笼 问题描述&#xff1a; 一个笼子里面关了鸡和兔子&#xff08;鸡有2只脚&#xff0c;兔子有4只脚&#xff0c;没有例外&#xff09;。已经知道了笼子里面脚的总数为a&#xff0c;问笼子里面至少有多少只动物&#xff0c;至多有多少只动物。 输入格式&…

web 开发全局覆盖文件上传身份验证漏洞利用

全局覆盖 首先认识全局变量和局部变量 再一个就是知道全局变量是全局使用的并且有个特点就是可以覆盖 这个就是全局变量我们输出一下发现 z居然等于函数内的计算值 把我们原来定义的全局变量 $z给覆盖了 看一下局部变量 这个时候 z就不会被覆盖 <?php $x1; $y2; …

No.2十六届蓝桥杯备战|练习题4道|数据类型|字符型|整型|浮点型|布尔型|signed|unsigned(C++)

B2002 Hello,World! - 洛谷 #include <iostream> using namespace std; int main() { cout << "Hello,World!" << endl; return 0; }打印飞机 #include <iostream> using namespace std;int main() {cout << " …

46. Three.js案例-创建颜色不断变化的立方体模型

46. Three.js案例-创建颜色不断变化的立方体模型 实现效果 知识点 Three.js基础组件 WebGLRenderer THREE.WebGLRenderer是Three.js提供的用于渲染场景的WebGL渲染器。它支持抗锯齿处理&#xff0c;可以设置渲染器的大小和背景颜色。 构造器 antialias: 是否开启抗锯齿&am…

5.系统学习-PyTorch与多层感知机

PyTorch与多层感知机 前言PyTroch 简介张量&#xff08;Tensor&#xff09;张量创建张量的类型数据类型和 dtype 对应表张量的维度变换&#xff1a;张量的常用操作矩阵或张量计算 Dataset and DataLoaderPyTorch下逻辑回归与反向传播数据表格 DNN&#xff08;全连结网络&#x…

WPF中的Microsoft XAML Behaviors包功能详解

什么是XAML Behaviors(行为) XAML Behaviors 提供了一种简单易用的方法&#xff0c;能以最少的代码为 Windows UWP/WPF 应用程序添加常用和可重复使用的交互性。 但是Microsoft XAML Behaviors包除了提供常用的XAML Behaviors之外&#xff0c;还提供了一些Trigger&#xff08…

运维人员的Go语言学习路线

以下是一份更为详细的适合运维人员的Go语言学习路线图&#xff1a; 一、基础环境搭建与入门&#xff08;第 1 - 2 周&#xff09; 第 1 周 环境搭建 在本地开发机和常用的运维服务器环境&#xff08;如 Linux 系统&#xff09;中安装 Go 语言。从官方网站&#xff08;https://…

设置虚拟机设备的dp和pt

虚拟机有设置px的方式&#xff0c;没有设置dp的方式&#xff0c;举个例子比如设置px为1080*1920虚拟机是有的 此时如果需要375dp宽度的虚拟机&#xff0c; 需要以下步骤 通过日志打印px和density&#xff0c;计算出当前的dp根据density和dp&#xff0c;计算如果需要相应的dp需…

Soildstate渗透测试

第一步&#xff1a;信息收集 Arp-scan -l 扫描本地存活ip&#xff0c;发现可疑ip 192.168.52.140 使用nmap -T4 -sV -sC -p- 192.168.52.140 对目标进行全端口扫描 同时使用dirb和dirsearch对目标网址进行目录爆破&#xff0c;这些网址都可以点进去看看进行一下信息收集看看是…

HTTP cookie与session

telnet命令 telnet 是一个网络协议&#xff0c;用于通过 TCP/IP 网络进行远程登录到服务器。它允许用户在本地计算机上通过网络连接到远程服务器&#xff0c;并在服务器上执行命令 telnet [主机名或IP地址] [端口号]//连接服务器 在 telnet 会话中&#xff0c;Ctrl] 会将你从…

【新年特辑】使用 React + TypeScript 开发新年祝福网页

&#x1f389; 新年将至&#xff0c;我决定开发一个独特的新年祝福网页&#xff0c;让每个人都能创建和分享自己的新年祝福。本文将详细介绍这个项目的开发过程&#xff0c;从技术选型到具体实现&#xff0c;希望能给大家一些启发。 一、项目概述 1.1 项目背景 在这个数字化的…

jmeter分布式启动

https://www.cnblogs.com/qtclm/p/11082081.html 1、代理机&#xff1a;输入“ipconfig”&#xff0c;找到IP地址&#xff0c;在Jmeter/bin/jmeter.properties设置remote host 启动jmeter server 1、控制机&#xff1a;输入“ipconfig”&#xff0c;找到IP地址&#xff0c;在J…