Redis——缓存的持久化

1、持久化机制

Redis的所有数据都保存在内存中,如果没有配置持久化功能,Redis重启后数据就会全部丢失,所以需要开启Redis的持久化功能,将数据保存到磁盘上,这样当Redis重启后,可以从磁盘中恢复数据。Redis提供两种方式进行持久化,一种是RDB持久化,另一种是AOF持久化。下面详细介绍这两种方式。

1.1、RDB持久化

RDB持久化是指在指定的时间间隔内定时地将内存中的数据写入磁盘,把内存中的数据保存到RDB文件中,是默认的持久化方式。Redis快照的过程是,首先Redis服务器使用fork函数复制一份当前进程(父进程)的副本(子进程)。然后,父进程继续接收并处理客户端发来的命令,而子进程将内存中的数据写入硬盘中的RDB临时文件。最后,当子进程写入完所有数据后会用RDB临时文件替换旧的RDB文件,如下图所示:
在这里插入图片描述

1.2、AOF持久化

追加(Append Only File,AOF)持久化方式会记录Redis客户端对服务器的每一次写操作命令,并将这些写操作追加保存到appendonly.aof文件(AOF文件)中。在Redis服务器重启时,会加载并运行AOF文件里的命令,以达到恢复数据的目的,如下图所示:
在这里插入图片描述

1.3、配置RDB

Redis的配置文件在Linux下是redis.conf文件,在Windows下是redis.windows.conf文件。本小节使用的实验环境是Linux,相应的配置文件是redis.conf文件,配置效果与Windows下的一致。

1.3.1、RDB文件路径和名称

RDB持久化是Redis默认的持久化方式,默认情况下Redis会把快照文件存储在当前目录下一个名为dump.rdb的文件内。

如果需要修改dump.rdb文件的存储路径和名称,可以通过修改配置文件redis.conf内的dbfilename参数和dir参数来实现:

# RDB文件名,默认为dump.rdb 
dbfilename dump.rdb # RDB文件和AOF文件存放的目录。默认为当前工作目录 
dir /usr/local/redis/bin

保存配置文件后,使用redis-server命令加载redis.conf配置文件并重新启动Redis服务器,然后使用CONFIG GET dir命令查看RDB文件的存储路径:

127.0.0.1:6379> CONFIG GET dir 
1) "dir" 
2) "/usr/local/redis/bin"

1.3.2、RDB的保存点

修改保存点选项,可以配置RDB的启用和禁用。可以通过修改配置文件redis.conf实现该功能。

(1)设置保存点,可以使Redis在每N秒内,如果数据发生了M次改变就保存快照文件。例如,下面这个保存点配置表示每60s内,如果数据发生了10000次以上的改变,Redis就会自动保存快照文件:

save 60 10000

保存点可以设置多个,设置保存点的格式如下:

save <seconds> <changes>

Redis可以设置多个保存点,例如Redis的配置文件redis.conf就默认设置了3个保存点:

save 900 1       # 900s后至少1个key有改变,就保存快照文件 
save 300 10      # 300s后至少10个key有改变,就保存快照文件 
save 60 10000    # 60s后至少10000个key有改变,就保存快照文件

(2)禁用快照保存。如果想禁用快照保存的功能,可以通过注释所有save配置,或者在最后一条save配置后添加如下的配置实现:

save ""

1.3.3、错误处理

后台存储发生错误时禁止写入,默认值为yes。默认情况下,如果Redis在后台生成快照文件时失败,就会停止接收数据,目的是让用户能知道数据没有持久化成功:

stop-writes-on-bgsave-error yes

1.3.4、数据压缩

启动RDB文件压缩,会耗费CPU资源,默认值为yes。如果想节省CPU资源,可以禁用压缩功能,但是数据集就会比没压缩的时候要大。

rdbcompression yes

1.3.5、数据校验

对RDB数据进行校验,会耗费CPU资源,默认值为yes。

rdbchecksum yes

1.3.6、手动生成快照文件

Redis提供了SAVE命令和BGSAVE命令用于手动生成快照文件。

(1)SAVE。SAVE命令会使用同步的方式生成RDB快照文件,将当前Redis实例的所有数据快照(Snap Shot)以RDB文件的形式保存到硬盘,默认情况下会把Redis数据持久化到dump.rdb文件中,并且在Redis服务器重启后自动读取dump.rdb文件。SAVE命令在Redis主线程中工作,会阻塞其他请求操作,在实际的生产环境中应该避免使用。

127.0.0.1:6379> SAVE 
OK

(2)BGSAVE。BGSAVE命令使用异步的方式保存当前Redis实例的所有数据快照到RDB文件,执行BGSAVE命令后,Redis会产生一个子进程并立刻恢复对客户端的服务。

127.0.0.1:6379> BGSAVE 
Background saving started 
(2.41s)

注意Redis配置文件里禁用了快照生成功能不影响SAVE命令和BGSAVE命令的效果。

1.4、配置AOF

1.4.1、启用AOF持久化

将redis.conf配置文件的配置项appendonly设置为yes,启用AOF持久化:

appendonly yes

修改redis.conf配置文件后,重启Redis服务器,Redis执行的每一条命令都会被记录到appendonly.aof文件中。但事实上,Redis并不会立即将命令写入硬盘文件中,而是将命令写入硬盘缓存。在接下来的可靠性配置中,可以配置从硬盘缓存写入硬盘的时间。

1.4.2、AOF文件路径和名称

通过修改配置文件redis.conf,修改dir、appendfilename对应的配置项来修改AOF文件路径和名称:

# 文件存放目录,与RDB文件共用。默认为当前工作目录 
dir /usr/local/redis # 默认文件名为appendonly.aof 
appendfilename "appendonly.aof"

1.4.3、可靠性

在redis.conf配置文件中可以通过appendfsync选项指定写入策略,有3个选项:

  • always:每次收到Redis客户端的写命令就立即强制写入到AOF文件。这是最有保证的持久化方式,但也是速度最慢的,一般不推荐使用。
  • everysec:每秒向AOF文件写入一次Redis客户端的写操作。在性能和持久化方面做了很好的折中,是推荐的方式。
  • no:由操作系统来决定什么时候写入AOF文件,一般为30秒左右一次。这个方式性能最好,但是持久化方面没有保证,一般不推荐使用。

在redis.conf配置文件中配置appendfsync选项的实例如下:

# appendfsync always 
appendfsync everysec 
# appendfsync no

1.4.4、日志重写

随着写操作不断增加,AOF文件会越来越大,Redis可以在不中断服务的情况下在后台重建AOF文件。

日志重写的工作原理如下:

  • Redis调用fork函数,产生一个子进程。
  • 子进程把新的AOF文件写到一个临时文件里。
  • 父进程持续把新的变动写到内存里的缓冲区(buffer),同时也会把这些新的变动写到旧的AOF文件里,这样即使重写失败也能保证数据的安全。
  • 当子进程完成文件的重写后,父进程会获得一个信号,然后把内存里的缓冲区内容追加到子进程生成的新AOF文件里。

我们可以设置日志重写的条件。下面的实例表示当AOF文件的体积大于64 MB,并且AOF文件的体积比上一次重写之后的体积大了至少一倍(100%)的时候,Redis将执行日志重写操作:

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64MB

Redis会记住自从上一次重写后AOF文件的大小。要禁用自动的日志重写功能,可以把百分比设置为0:

auto-aof-rewrite-percentage 0

1.4.5、数据损坏修复

如果因为某些原因(例如服务器崩溃)AOF文件损坏了,导致Redis加载不了,可以通过以下方式进行修复:

  • 备份AOF文件。
  • 使用redis-check-aof命令修复原始的AOF文件:redis-check-aof --fix
  • 在Linux下可以使用diff-u命令查看AOF文件和RDB文件的差异。
  • 使用修复过的AOF文件重启Redis服务器。

1.4.6、从RDB切换到AOF

在Redis 2.2以后的版本中,从RDB切换到AOF,需要备份一个最新的dump.rdb文件,并把备份文件放在一个安全的地方。执行以下命令:

$ redis-cli config set appendonly yes 
$ redis-cli config set save ""

要确保数据与切换前一致,确保数据正确地写到AOF文件里。

1.4.7、备份

建议的备份方法如下:

  • 创建一个定时任务,每小时和每天创建一个快照文件,并将快照文件保存在不同的文件夹里。
  • 定时任务运行时,把太旧的文件删除。例如只保留48h内的按小时创建的快照文件和一到两个月的按天创建的快照文件。
  • 每天确保一次把快照文件传输到数据中心外的地方进行保存,至少不能保存在Redis服务所在的服务器。

2、Redis过期key清除策略

Redis对过期key有3种清除策略:

  • 被动清除:当读/写一个已经过期的key时,会触发惰性清除策略,直接清除这个过期key。
  • 主动清除:由于惰性清除策略无法保证冷数据被及时清除,因此Redis会定期主动清除一批已过期的key。
  • 当前已用内存超过maxmemory限定时,触发主动清除策略。

这里着重介绍第3种清除策略。在Redis中,允许用户设置最大使用内存大小为maxmemory(需要配合maxmemory-policy使用),设置为0表示不限制。当Redis内存数据集快到达maxmemory时,Redis会实行数据淘汰策略。Redis提供6种数据淘汰策略,如小表所示:
在这里插入图片描述
关于maxmemory设置,可以通过在redis.conf配置文件中的maxmemory参数设置,或者通过命令CONFIG SET动态修改。关于数据淘汰策略的设置,可以通过在redis.conf配置文件中的maxmemory-policy参数设置,或者通过命令CONFIG SET动态修改:

127.0.0.1:6379> CONFIG GET maxmemory 
1) "maxmemory" 
2) "0" 
127.0.0.1:6379> CONFIG SET maxmemory 100MB 
OK 
127.0.0.1:6379> CONFIG GET maxmemory 
1) "maxmemory" 
2) "104857600"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/675608.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【JS逆向六】(下)逆向解密某网站返回的密文的值 仅供学习

逆向日期&#xff1a;2024.02.07 使用工具&#xff1a;Node.js 文章全程已做去敏处理&#xff01;&#xff01;&#xff01; 【需要做的可联系我】 可使用AES进行解密处理&#xff08;直接解密即可&#xff09;&#xff1a;在线AES加解密工具 1、打开某某网站(请使用文章开头的…

使用深度学习对视频进行分类

目录 加载预训练卷积网络 加载数据 将帧转换为特征向量 准备训练数据 创建 LSTM 网络 指定训练选项 训练 LSTM 网络 组合视频分类网络 使用新数据进行分类 辅助函数 此示例说明如何通过将预训练图像分类模型和 LSTM 网络相结合来创建视频分类网络。 要为视频…

Android:自定义控件

3.16自定义控件 1.自定义VIEW组件 创建CustomizeView,继承View。重写onDraw方法,通过onDraw方法绘制我们自定义的图像、位图、路径等。 示例: //自定义绘制View public class CutomizeView extends View {//构造方法public CutomizeView(Context context) {super(context…

【原创 附源码】Flutter海外登录--Tiktok登录最详细流程

最近接触了几个海外登录的平台&#xff0c;踩了很多坑&#xff0c;也总结了很多东西&#xff0c;决定记录下来给路过的兄弟坐个参考&#xff0c;也留着以后留着回顾。更新时间为2024年2月7日&#xff0c;后续集成方式可能会有变动&#xff0c;所以目前的集成流程仅供参考&#…

[BeginCTF]真龙之力

安装程序 双击安装 出现了安装失败的标签&#xff0c;开发者不允许测试。 查看Mainfest入口文件 <?xml version"1.0" encoding"utf-8"?> <manifest xmlns:android"http://schemas.android.com/apk/res/android" android:versionCo…

71_Pandas.DataFrame排名

71_Pandas.DataFrame排名 使用rank()方法对pandas.DataFrame和pandas.Series的行/列进行排名。 sort_values() 是一种按升序或降序对 pandas.DataFrame 列和 pandas.Series 进行排序的方法&#xff0c;但rank() 返回每个元素的排名而不对数据进行排序。 请参阅下面的文章了解…

[vscode]ssh报错: Resolver error: Error: XHR failedscode错误

场景问题&#xff1a;通过vscode ssh连接远程服务器失败&#xff0c;报错&#xff1a;Resolver error: Error: XHR failedscode&#xff1a; 问题原因&#xff1a;~/.vscode-server/bin/一串数字下的vscode-server-linux-x64.tar.gz由于某种原因无法正常下载 解决方式&#x…

JavaScript实现轮播图方法

效果图 先来看下效果图&#xff0c;嫌麻烦就不用具体图片来实现了&#xff0c;主要是理清思路。&#xff08;自动轮播&#xff0c;左右按钮切换图片&#xff0c;小圆点切换图片&#xff0c;鼠标移入暂停轮播&#xff0c;鼠标移出继续轮播&#xff09; HTML 首先是html内容&am…

【QT学习十四】 文件目录操作

目录 一、概述 二、详解 1. QFile QFile 类中的一些静态方法&#xff1a; 使用示例&#xff1a; 注意事项&#xff1a; 2. QDir 成员函数 使用实例&#xff1a; 注意事项&#xff1a; 3. QFileInfo 成员函数 使用实例 4. QTemporaryFile 成员函数 使用实例 注…

Rust语言之集合

文章目录 一、元组&#xff08;tuple&#xff09;1.元组定义2.元组使用解构索引 3.元组修改非可变元组可变元组类型不一致 二、数组1.数组不可变数组定义可变数组定义数组使用数组修改数组的遍历 2.动态数组-向量&#xff08;Vector&#xff09;向量定义向量遍历向量追加向量插…

MongoDB聚合: $sort

聚合的$sort阶段对所有输入文件进行排序&#xff0c;并按排序顺序返回管道。 语法 { $sort: { <field1>: <sort order>, <field2>: <sort order> ... } }$sort阶段参数为一个文档&#xff0c;该文档指定了要排序的字段和相应的排序顺序。<sort or…

[职场] 公安管理学就业方向及前景 #媒体#笔记#笔记

公安管理学就业方向及前景 公安管理学是中国普通高等学校本科专业。本专业文理兼收&#xff0c;学制4年&#xff0c;授予法学学士学位。本专业培养掌握马克思主义基本原理&#xff0c;政治坚定&#xff0c;坚持党和国家的路线、方针、政策&#xff0c;具有良好职业素养、科学素…

获取视频帧图片

在实现了minio文件上传的基础上进行操作 一、编写pom <dependency><groupId>org.jcodec</groupId><artifactId>jcodec</artifactId><version>0.2.5</version> </dependency> <dependency><groupId>org.jcodec<…

【小程序】基础API——面板API接口介绍

ty.preloadPanel 面板预下载 需引入BizKit&#xff0c;且在>3.0.0版本才可使用 参数 Object object 属性类型默认值必填说明deviceIdstring是设备 idextraInfoPanelExtraParams否额外面板信息 当预下载的是二级面板时, 需要传递的额外信息completefunction否接口调用结束…

PMP考试之20240209

1、生物制药公司ClinicaLabs的一位项目经理打算与她的经理讨论为其团队无法执行的复杂活动获取额外资源的问题。一旦活动完成&#xff0c;这些资源将立即投入项目。在这种情况下&#xff0c;项目经理最需要以下哪项技能&#xff1f; A.确定资源需求的规划技能 B.使经理相信她…

git恢复rebase过程中遇到权限问题和丢失的提交

文章目录 一、检查丢失的提交是否还在 reflog 中二、创建一个新分支来恢复丢失的提交三、处理权限问题四. 使用 git fsck 查找丢失对象1、创建一个新分支来恢复该提交2、检查和合并提交 五. 介绍git中命令reflog 与 fsck1、git reflog2、git fsck使用场景 一、检查丢失的提交是…

freesql orm 使用 DynamicFilterInfo 拼接日期查询条件时间格式一个难得的经验

文本到时间条件的转换 前端输入 1253-3 , 后台提示"varchar 数据类型到 datetime 数据类型的转换产生一个超出范围的值" 经查询, mssql 【datetime】数据类型&#xff1a;最大是9999年12 月31日&#xff0c;最小是1753年1月1日 所以要拼接限制一下, 只是 if (val.…

迅为RK3588开发板ubuntu和window互传图形界面直接拖拽进行文件传输

确保以及安装了 VMware Tools。如下图所示表示已安装过了。 和 windows 端文件夹间传输一样直接拖拽进去即可&#xff0c;如下图所示&#xff1a; 也可拖拽到终端&#xff0c;如下图所示&#xff1a; 更多内容可以B站搜索迅为RK3588开发板

什么是系统工程(字幕)22

0 00:00:00,650 --> 00:00:02,660 那么下一个呢&#xff0c;就是 1 00:00:03,200 --> 00:00:04,770 图16.12 2 00:00:05,740 --> 00:00:07,910 这是一个活动图 3 00:00:09,090 --> 00:00:11,930 表达了蒸馏这个水的 4 00:00:12,280 --> 00:00:13,470 过程的…

一文彻底搞懂Redis的内存回收机制和内存过期淘汰策略

文章目录 1. Redis内存回收机制2. Redis过期策略3. Redis淘汰策略3.1 LRU算法3.2 缓存清理配置3.3 Redis数据淘汰策略3.4 缓存清理的流程 4. 总结 关于 Redis 内存回收机制和内存过期淘汰策略的常见问题&#xff1a; 什么是 Redis 的内存回收机制&#xff1f; Redis 的内存回收…