十一、Redis持久化-RDB、AOF

Redis提供了两种持久化数据的方式。一种是RDB快照，另一种是AOF日志。RDB快照是一次全量备份，AOF日志是连续的增量备份。RDB快照是以二进制的方式存放Redis中的数据，在存储上比较紧凑；AOF日志记录的是对内存数据修改的指令文本记录。Redis提供的持久化机制，可以有效的避免Redis因为进程退出导出的数据丢失问题。

1、RDB快照持久化

RDB持久化是在某个时间点做一次全量的数据备份。触发RDB持久化的方式分为手动触发和自动触发。

1.1、手动触发

手动触发分别对应save和bgsave命令

  • save命令：会阻塞当前Redis服务器，直到RDB过程完成为止，如果数据量较大的话，会造成长时间的阻塞，线上环境不建议使用。
  • bgsave命令：就是background save。执行bgsave命令时Redis主进程会fork一个子进程来进行数据的备份，完成后自动结束(操作系统的copy on write机制，简称COW)。所以Redis主进程阻塞时间只在fork阶段那一会。相对于save命令，阻塞时间更短。

1.2、自动触发

  • 配置redis.conf，触发规则，自动执行
# 当在规定的时间内，Redis发生了写操作的个数满足条件，会触发发生BGSAVE命令。
# save <seconds> <changes>
# 当用户设置了多个save的选项配置，只要其中任一条满足，Redis都会触发一次BGSAVE操作
save 900 1 
save 300 10 
save 60 10000
# 以上配置的含义：900秒之内至少一次写操作、300秒之内至少发生10次写操作、
# 60秒之内发生至少10000次写操作，只要满足任一条件，均会触发bgsave
  • 执行shutdown命令关闭服务器时，如果没有开启AOF持久化功能，那么会自动执行一次bgsave命令。
  • 如果从节点执行全量复制操作，主节点会自动执行bgsave命令生成RDB文件并发送给从节点。更多细节见主从同步。
  • 执行debug reload命令重新加载Redis时，也会自动触发save操作。

1.3、RDB执行流程

Redis使用操作系统的多进程(Copy On Write, COW)机制来实现RDB快照持久化。

  1. 执行bgsave命令时，Redis主进程会检查是否有子进程在执行RDB/AOF持久化任务，如果有的话，直接返回。
  2. Redis主进程会fork一个子进程来执行RDB的持久化操作，fork操作会阻塞主进程(影响Redis的读写)，fork操作完成之后，会发消息给主进程，从而不再阻塞主进程。(阻塞主进程只在fork子进程时，后续的子进程处理操作都不会阻塞主进程)；通过 info stats 命令可以查看latest_fork_usec选项，可以获取最近一个fork操作的耗时，单位为微秒。
  3. 主进程fork完子进程后，bgsave命令会返回“BackGround saving started”信息，并不再阻塞主进程，可以继续响应其他命令。
  4. 子进程创建RDB文件，根据主进程生成临时快照文件，持久化完成后会使用临时快照文件替换掉原来的RDB文件(该过程不会影响主进程的读写，但Redis的写操作不会同步到主进程的内存中，而是会写到一个临时的内存区域作为一个副本)。执行lastsave命令可以获取最后一次生成的RDB时间，对应info统计的rdb_last_save_time选项。
  5. 子进程完成RDB持久化后会发消息给主进程，通知RDB持久化完成(同时将上阶段内存副本中的增量写数据同步到主内存中)。

image.png

1.4、RDB优缺点

1.4.1、优点

  • RDB文件小(二进制，存储比较紧凑)，非常适合定时备份，用于灾难恢复。
  • Redis加载RDB文件的速度比AOF快很多，因为RDB文件中直接存储的是内存数据，而AOF文件中存储的是一条条命令，需要重新执行一遍。

1.4.2、缺点

  • RDB无法做到实时持久化，若在两次bgsave命令间宕机，则会丢失两次执行区间内的增量数据，不适合用于实时性要求较高的场景。
  • RDB的cow机制中，fork子进程属于重量级操作，并且会阻塞主进程
  • RDB文件使用特定的二进制格式保存，Redis版本演化过程中有多个格式的RDB版本，存在老版本Redis服务无法兼容新版RDB文件格式的问题。

2、AOF日志持久化

AOF(append only file)持久化：以独立日志的方式记录每次的写命令，重启时需要重新执行一遍AOF文件中的命令来达到恢复数据的目的。AOF日志会在持续运行中逐渐增大，由于Redis重启过程需要优先加载AOF日志进行指令重放以恢复数据，恢复时间会无比漫长。所以需要定期进行AOF重写，对AOF日志进行瘦身(合并命令)，目前AOF是Redis的主流持久化方式。

2.1、开启方式

AOF默认是关闭的，通过redis.conf配置文件进行开启。

## 此选项为aof功能的开关，默认为“no”，可以通过“yes”来开启aof功能  
## 只有在“yes”下，aof重写/文件同步等特性才会生效  
appendonly yes  ## 指定aof文件名称  
appendfilename appendonly.aof  ## 指定aof操作中文件同步策略，有三个合法值：always everysec no,默认为everysec  
appendfsync everysec  
## 在aof-rewrite期间，appendfsync是否暂缓文件同步，"no"表示“不暂缓”，“yes”表示“暂缓”，默认为“no”  
no-appendfsync-on-rewrite no  ## aof文件rewrite触发的最小文件尺寸(mb,gb),只有大于此aof文件大于此尺寸是才会触发rewrite，默认“64mb”，建议“512mb”  
auto-aof-rewrite-min-size 64mb  ## 相对于“上一次”rewrite，本次rewrite触发时aof文件应该增长的百分比  
## 每一次rewrite之后，redis都会记录下此时“新aof”文件的大小(例如A)
## aof文件增长到A*(1 + p)之后，触发下一次rewrite，每一次aof记录的添加，都会检测当前aof文件的尺寸。  
auto-aof-rewrite-percentage 100

image.png
AOF是对文件的操作，因此对于变更比较频繁的服务，那么会造成磁盘的IO负荷加重。此外因为Linux对文件的操作是采用‘延迟写入’的方式，因此并非每次对文件的write操作都会立即写入到磁盘中，而是进入到一个buffer中，当buffer中的数据达到阈值时，就会触发实际写入(也有其他时机)，这是Linux对文件系统的优化。
同时Linux也提供fsync(int fd)函数，可以用来将指定文件的内容强制刷新到磁盘中。只要Redis进程实时调用fsync函数就可以保证AOF日志的内容不会丢失。但是fsync是个磁盘IO操作，他很慢！如果Redis执行一条指令就要执行fsync一次，那么Redis的性能就会收到很大的影响。
因此，Redis在其配置文件中提供了3中策略，用来同步AOF日志记录：

  • always：每一条AOF指令都立即同步到磁盘文件中，性能很低，但是很安全。
  • everysec：每秒同步一次，性能和安全都比较中庸，也是Redis推荐的方式。如果遇到服务器宕机的情况，最多会丢失1s的AOF日志记录。
  • no：Redis永不直接调用fsync文件同步，而是将文件同步操作交给系统来决定，何时同步磁盘。性能较好，但是不安全。

2.2、重写(rewrite)机制

随着Redis运行时间的增长，AOF日志文件会越来越大，为了解决这个问题，Redis需要定期对AOF日志进行重写，来对AOF日志文件进行瘦身。
AOF Rewrite虽然是‘压缩’AOF文件的过程，但是并非是采用‘基于原AOF文件’进行重写或者压缩操作的。而是类似RDB快照的方式：基于Copy On Write，全量遍历内存中的数据，然后逐个序列化到文件汇总。因此AOF rewrite能够正确反映当前内存数据的状态。
AOF重写(bgrewriteaof)和ADB(bgsave)过程类似，都是fork一个子进程来进行处理。
AOF对日志文件进行压缩时，为了防止单条命令过大造成客户端缓冲区溢出，对于list、set、zset、hash等类型操作，以64个元素为界进行拆分成多条。
AOF重写降低了文件的大小，另一方面，更小的文件可以更快的被Redis加载。

在重写过程中，对于新的变更操作将仍然被写入到原AOF文件中，同时这些新的变更操作也会被Redis收集起来(aof-rewrite-buffer)。当内存中的数据全被写入到新的AOF文件后，收集的新的变更操作也会一并追加到新AOF文件中。然后将新的AOF文件命名为appendonly.aof，使用新的AOF文件替换掉老的AOF文件。

2.3、触发机制

和RDB类似，AOF也有两种触发机制**：手动触发和自动触发**。

2.3.1、手动触发

直接调用bgrewriteaof命令。

redis-cli -h ip -p port bgrewriteaof

2.3.2、自动触发

根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机：

auto-aof-rewrite-min-size：表示运行AOF文件重写时的文件最小体积，默认为64MB。
auto-aof-rewrite-percentage：代表当前AOF文件空间(auto_current_size)和上一次重写后AOF文件空间(aof_base_size)的值

自动触发时机=auto_current_size>auto_aof_rewrite_min_size && (auto_current_size-auto_base_size)/auto_base_size >= auto_aof_rewrite_percentage
其中aof_current_size和aof_base_size可以在info Persistence统计信息中查看。
image.png

当Redis重启时，可以加载AOF文件进行数据恢复。
image.png

2.4、AOF优缺点

2.4.1、优点

AOF只是追加写入文件，对服务器性能影响较小，速度比RDB要快，消耗的内存较少。

2.4.2、缺点

  • AOF方式生成的日志文件会越来越大，因此需要不断的进行AOF重写，进行瘦身。
  • 即使经过AOF重写，由于文件是文本文件，文件提交较大(相比较于二进制文件)。
  • AOF重写命令式的恢复数据，速度明显比RDB慢。

3、Redis 4.0混合式持久化

  • 仅使用RDB快照方式恢复数据，由于快照时间粒度较大，会丢失大量的数据。
  • 仅使用AOF重放方式恢复数据，日志性能相对于RDB来说慢。且需要不停的进行日志的重写。在Redis实例很大的情况下，启动需要花费很长的时间。

Redis 4.0为了解决这个问题，带来一个全新的持久化选项–**混合持久化。**将RDB的内容和增量的AOF日志文件放在一起。这里的AOF日志不再是全量的日志，而是自持久化开始到持久化结束的这段时间发生的增量AOF日志，通常这部分AOF日志很小。相当于：

  • 大量数据使用粗粒度(时间上)的rdb快照方式，性能高，回复时间快。
  • 增量数据使用细粒度(时间上)的AOF日志，尽量保证数据不丢失。

在Redis重启时，可以先加载RDB文件，然后在重放AOF日志就可以完全替代之前的AOF全量文件重放，重启效率因此大幅度提升。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/11344.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AMEYA360代理品牌 | 海康存储产品介绍

AMEYA360代理品牌 | 海康存储产品介绍

海康存储成立于2017年&#xff0c;依托海康威视在视音频、成像采集与数据管理领域长达20年的技术沉淀和积累&#xff0c;聚焦工业控制、数据中心、视频监控、终端消费等应用场景&#xff0c;为企业客户及终端用户提供值得信赖的存储产品和解决方案。 目前&#xff0c;海康存储已…
阅读更多...
我看看谁还不会AI模特试装！AI绘画电商系列保姆级教程（文末有福利）

我看看谁还不会AI模特试装！AI绘画电商系列保姆级教程（文末有福利）

不得不说&#xff0c;AI绘画在电商行业展现出了巨大的商业价值&#xff0c;就连专注电商的AI绘画工具都层出不穷。茉莉也试了不少AI商拍工具&#xff0c;主打「0门槛」「一键式」操作&#xff0c;但效果和自定义灵活性&#xff0c;根本比不上MidjourneyStable DIffusion这一王炸…
阅读更多...
Comau柯马机器人维修故障分类

Comau柯马机器人维修故障分类

在柯马机器人的使用过程中&#xff0c;常见的是Comau机械手减速器故障。那么&#xff0c;我们一起来探讨一下柯马机械臂维修减速机故障的问题。Comau工业机械手减速器故障分类 1. 异响 机器人在工作过程中发出异常声响&#xff0c;可能是柯马机械臂减速器内部磨损或零件松动引起…
阅读更多...
二分图及图匹配（图论学习总结部分内容）

二分图及图匹配（图论学习总结部分内容）

文章目录 前言四、二分图及图匹配二分图常见模型二分图例题 e g 1 : eg1: eg1: [ Z J O I 2009 ZJOI2009 ZJOI2009​\][假期的宿舍](https://ac.nowcoder.com/acm/contest/34649/B)(二分图最大匹配板题) e g 2 : eg2: eg2:​​ [C-Going Home](https://ac.nowcoder.com/acm/con…
阅读更多...
Compose容器编排示例

Compose容器编排示例

前言&#xff1a;本博客仅作记录学习使用&#xff0c;部分图片出自网络&#xff0c;如有侵犯您的权益&#xff0c;请联系删除 目录如下&#xff1a; 一、从源代码开始构建、部署和管理应用程序 1.1、创建项目目录并准备应用程序的代码及其依赖 1.2、创建Dockerfile 1.3、在…
阅读更多...
电动汽车与 PLM：下一代转型的结合

电动汽车与 PLM：下一代转型的结合

汽车电气化是汽车行业持续变革的驱动力&#xff0c;因此电动汽车 (EV) 行业成为当今最令人兴奋、最相关和最必要的创新领域之一。快速且有利可图地设计电动汽车及其零部件&#xff0c;同时使其受到消费者的青睐&#xff0c;是一项艰巨的挑战。因此&#xff0c;电动汽车行业企业…
阅读更多...
体验GM CHM Reader Pro，享受高效阅读

体验GM CHM Reader Pro，享受高效阅读

还在为CHM文档的阅读而烦恼吗&#xff1f;试试GM CHM Reader Pro for Mac吧&#xff01;它拥有强大的功能和出色的性能&#xff0c;能够让你轻松打开和阅读CHM文件&#xff0c;享受高效、舒适的阅读体验。无论是学习、工作还是娱乐&#xff0c;GM CHM Reader Pro都能成为你的得…
阅读更多...
python数据分析——数据分类汇总与统计

python数据分析——数据分类汇总与统计

数据分类汇总与统计 前言一、Groupby分类统计语法按列分组示例一示例二示例三 遍历各分组示例 使用字典和Series分组示例 使用函数分组示例 二、数据聚合groupby的聚合函数示例一示例二 逐列及多函数应用示例一示例二 返回不含行索引的聚合数据示例 三、一般性的“拆分-应用-合…
阅读更多...
数字展厅设计需要注意哪些细节

数字展厅设计需要注意哪些细节

1、用户体验 数字展厅是为了让用户感受到更多的信息和更好的体验&#xff0c;所以设计数字展厅必须以用户体验为中心&#xff0c;从用户的角度考虑&#xff0c;设计出符合用户需求和品牌形象的数字展示空间。 2、展示内容 数字展厅的展示内容是吸引用户的关键&#xff0c;要注重…
阅读更多...
（五）STM32F407 cubemx IIC驱动OLED（2）硬件篇

（五）STM32F407 cubemx IIC驱动OLED（2）硬件篇

这篇文章主要是个人的学习经验&#xff0c;想分享出来供大家提供思路&#xff0c;如果其中有不足之处请批评指正哈。   废话不多说直接开始主题&#xff0c;本人是基于STM32F407VET6芯片&#xff0c;但是意在你看懂这篇文章后&#xff0c;不管是F1,F4,H7等一系列系统硬件IIC配…
阅读更多...
Docker 基础认识

Docker 基础认识

文章目录 概念铺垫&#xff08;1&#xff09;概念铺垫&#xff08;2&#xff09;概念铺垫 &#xff08;3&#xff09;概念铺垫&#xff08;4&#xff09;Docker 定义Docker 特点Docker 架构 概念铺垫&#xff08;1&#xff09; 虚拟化相关概念 物理机&#xff1a;实际的服务器…
阅读更多...
WordPress 、Typecho 站点的 MySQL/MariaDB 数据库优化

WordPress 、Typecho 站点的 MySQL/MariaDB 数据库优化

今天明月给大家分享一下 WordPress 、Typecho 站点的 MySQL/MariaDB 数据库优化&#xff0c;无论你的站点采用是 WordPress 还是 Typecho&#xff0c;都要用到 MySQL/MariaDB 数据库&#xff0c;我们以 MySQL 为主&#xff08;MariaDB 其实跟 MySQL 基本没啥大的区别&#xff0…
阅读更多...
JUC下的Java java.util.concurrent.Locks详解

JUC下的Java java.util.concurrent.Locks详解

java.util.concurrent.locks 包介绍 java.util.concurrent.locks 包是Java并发编程中非常重要的一个部分&#xff0c;它提供了比内置synchronized关键字更为灵活的锁机制&#xff0c;用于多线程环境下的同步控制。这个包中最核心的是Lock接口&#xff0c;以及一系列实现类&…
阅读更多...
如何通过香港站群服务器高效实现网站内容的快速更新?

如何通过香港站群服务器高效实现网站内容的快速更新?

如何通过香港站群服务器高效实现网站内容的快速更新? 在当今激烈的数字市场竞争中&#xff0c;网站内容的快速更新对于吸引用户和保持竞争优势至关重要。而利用香港站群服务器实现这一目标&#xff0c;则具备诸多优势。下面将详细探讨如何通过香港站群服务器高效实现网站内容…
阅读更多...
thinkphp6使用layui分页组件做分页效果

thinkphp6使用layui分页组件做分页效果

博主用的是layui2.9.8的版本&#xff0c;但这个版本的分页组件是动态效果的&#xff0c;但我需要的是静态分页&#xff0c;所以我自己封装了一个生成layui的分页代码生成代码。代码如下&#xff1a; 1、先创建文件&#xff0c;路径是extent/layui/LayuiPage.php&#xff0c;加…
阅读更多...
基于MetaGPT的LLM Agent学习实战(一)

基于MetaGPT的LLM Agent学习实战(一)

前言 我最近一直在做基于AI Agent 的个人项目&#xff0c; 因为工作加班较多&#xff0c;设计思考时间不足&#xff0c;这里借着Datawhale的开源学习课程《MetaGPT智能体理论与实战》课程&#xff0c;来完善自己的思路&#xff0c;抛砖引玉&#xff0c;和各位开发者一起学习&am…
阅读更多...
Run ‘conda init‘ before ‘conda activate‘

Run ‘conda init‘ before ‘conda activate‘

使用conda activate 虚拟环境名称的时候提示&#xff1a;Run conda init before conda activate 解决办法&#xff1a; 首先需要确保是管理员身份运行这个cmd窗口。 然后&#xff0c;现在执行一下&#xff1a;conda init 命令&#xff0c;最后再执行&#xff1a;conda activate…
阅读更多...
纯血鸿蒙APP实战开发——首页下拉进入二楼效果案例

纯血鸿蒙APP实战开发——首页下拉进入二楼效果案例

介绍 本示例主要介绍了利用position和onTouch来实现首页下拉进入二楼、二楼上划进入首页的效果场景&#xff0c;利用translate和opacity实现动效的移动和缩放&#xff0c;并将界面沉浸式&#xff08;全屏&#xff09;显示。 效果图预览 使用说明 向下滑动首页页面超过触发距…
阅读更多...
冯喜运：5.13黄金原油震荡整理是涨还是跌？今日走势分析

冯喜运：5.13黄金原油震荡整理是涨还是跌？今日走势分析

【黄金消息面分析】;自5月初以来&#xff0c;黄金和白银一直在享受需求的回归&#xff0c;买家在过去几天加大了力度&#xff0c;一度推动金价重返2370美元上方&#xff0c;白银重返28.5美元上方。不过&#xff0c;经过几天的盘整后&#xff0c;黄金白银价格双双下跌。然而&…
阅读更多...
Redis-详解（基础）

Redis-详解（基础）

文章目录 什么是Redis&#xff1f;用Redis的特点&#xff1f;用Redis可以实现哪些功能&#xff1f;Redis的常用数据类型有哪些?Redis的常用框架有哪些?本篇小结 更多相关内容可查看 什么是Redis&#xff1f; Redis&#xff08;Remote DictionaryServer&#xff09;是一个开源…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023