Redis--持久化机制详解

什么是redis持久化?

Redis持久化是将内存的数据持久化到磁盘上,防止Redis宕机或者断点的时候内存中的数据丢失,把内存中的数据写入到磁盘的过程叫持久化。

Redis持久化的方式?

  • RDB(Redis DataBase):在指定时间间隔内将内存中的数据以快照的方式写入到磁盘上,Redis默认的持久化方式。
  • AOF(Append Of File):以日志的形势记录每个写命令、删除命令。
  • 混合持久化:混合持久化并不是一种全新的持久化方式,它只是同时使用了RDB和AOF两种模式,是Redis 4.0版本开启的功能,通过aof-use-rdb-preamble配置参数开启,yes表示开启,no表示禁用,默认禁用。

RDB持久化详解:

RDB持久化流程:

  • 客户端触发或者自动执行bagesave命令。
  • 主进程判断是否存在正在执行的子进程,存在返回。
  • 不存在的话fork一个子进程进行持久化数据,fork过程中是阻塞的,fork操作完成后,主进程即可执行其他操作。
  • 子进程先将数据写入临时rdb文件中,数据写入完成后替换旧的rdb文件,同时通知主进程RDB持久化完成。

RDB持久化的优缺点:
优点:

  • 文件紧凑,全量备份,适合数据备份和灾难恢复。
  • 生成RDB文件时,redis主进程会fork()一个子进程来保存工作,主进程不需要进行任何IO操作。
  • RDB在恢复大数据集时速度比AOF的恢复速度要快。

缺点:

  • 因为RDB需要保存整个数据集,所以不是一个轻松的操作,因此一般不会设置太短时间,因此一段发生故障停机,会丢失几分钟的数据。
  • 如果数据集过大的情况下,所fork子进程在协助完成持久化时,所可能导致服务器停止几百毫秒,所甚至几秒钟。

AOF持久化流程:
AOF文件只记录写命令,不记录读命令,当服务端接收到写命令后,redis会将命令写入到aof缓冲区中,只所以写入缓冲区而不直接写入到文件中,是因为每次直接将命令写入文件中,那redis的性能将完全取决于硬盘的读写能力,影响redis性能。

AOF工作流程图:
在这里插入图片描述

AOF三种同步策略:

  1. always(总是):每次执行了写入或删除的命令写入缓冲区后,就调用系统fsync将redis执行的命令写入aof文件中,fsync操作完成后主线程返回。
  2. no:命令写入缓冲区后,调用操作系统的write操作,Redis不主动将命令同步到aof文件中,同步动作由操作系统来负责,一般是30秒一次。
  3. everysec:命令写入缓冲区后,调用操作系统的write操作,write操作完成之后,有专门的线程每秒执行fsync操作。

AOF持久化的优缺点:
优点:

  • AOF持久化几乎不丢失数据,最多丢失一秒的数据。
  • AOF机制采用的是append模式,因此即使在写入过程发生宕机,也不会破坏日志文件中已经存在的内容,如果本次操作只写入了一半就出现了系统宕机,redis下一次重启的时候,可以通过redis-check-aof来解决数据一致性问题。
  • 如果日志文件过大,redis可以自动启用rewriter机制,redis以append模式不断的将修改数据写入到磁盘中,同时会创建一个新的文件记录此期间有哪些命令被修改,在rewriter期间可以更好的保证数据安全性。
  • AOF包含一个格式清晰易于理解的日志文件,也可以通过该文件完成数据重建。

缺点:

  • 对于相同的数据集来说,AOF的文件体积一般大于RDB文件的体积。
  • 对redis性能有一定的损耗。
  • 相对RDB持久化的方式的数据恢复速度,AOF持久化的方式数据恢复速度会更慢一些。

AOF rewrite重写机制是什么意思?
AOF 重写是为了缩小aof文件,AOF持久化模式是不断的记录Redis写入、删除命令到文件中,随着命令的越来越多,文件会越来越大,aof重写会把过程操作过程去掉,把多个命令合并成一个命令,这样就缩小了AOF文件。

AOF rewrite作用:

  1. 使aof文件变的更小,占用更少的磁盘空间。
  2. aof文件编的更小后,在数据恢复的时候会更快。

AOF rewrite流程图:
在这里插入图片描述

AOF 重写规则?

  1. 进程内已经过期的数据不再写入文件。
  2. 只保存最终的写入命令,如set a 1,set a 2,set a 3,此时只保留set a 3。
  3. 多条写命令合并为一条命令,如lpush list 1,lpush list 2,lpush list 3,合并为lpush list 1,2,3,同时为了防止单条命令过大,对于list set zset hash 等以64个元素为界限拆分为多条命令。

什么是混合持久化?
混合持久化是redis4.0版本添加的新功能,通过aof-use-rdb-preamble配置参数开启,yes表示开启,no表示禁用,默认禁用,混合持久化体现在aofrewrite时,先写一份全量RDB数据到aof文件中,后续AOF重写缓冲区里的数据继续追加到该文件中,因为开启了混合持久化后,appendonly.aof文件开头是RDB格式,后续是AOF格式。
使用混合持久化后,Redis在重启数据恢复时候,会先加载RDB的内容,然后再执行AOF日志就可以完全替代之前的AOF全量文件执行,重启数据恢复的速度得到大大提升。

Redis进行持久化的时候会阻塞主线程吗?
fork子进程过程是阻塞的,fork过程就是创建一个主进程的副本,创建的子进程除了进程id,其余任何内容和主进程完全一致,这就是fork,fork的子进程独立于主进程存在,虽然两个进程内存空间内容完全一致,但是对于内存的写入、修改以及文件的映射都是独立的,两个进程互不影响,开启aof持久化,使用everysec同步策略时,会发生aof追加阻塞,出现aof阻塞的原因是磁盘负载过高,redis主进程会监控同步线程每次她同步aof缓冲区到aof文件的消耗时间,如果距离上次同步成功时间在2S内,那么主线程就会返回,如果超过2S,redis主进程会阻塞,直到同步完成,不管是RDB还是AOF持久化,都会使用fork创建一个子进程来处理,fork出来的子进程不会阻塞主进程,但是fork的过程还是会阻塞主进程,一般来说主进程内存越大,需要复制的空间内存叶也比较大,fork所需的时间也会长,redis阻塞的时间越长。

本文偏概念、偏面试八股,但学习理解了不管是对工作还是对面试都是有一定的帮助。
如有不正确的地方请各位指出纠正。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/713278.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全量知识系统问题及SmartChat给出的答复 之10 三套工具之5语法解析器之3

Q27. 从前面可以看出,IPP解析器给出两种文法规则,一种是人工的(文字处理和文本理解),一种是机器的(图形算法和图像处理)。前者可以是一套文写文章的注释工具的底层,可以使用颜色来着…

Jmeter分布式部署

前期准备: 1. 控制机一台,代理机一台,Jmeter安装包 操作步骤: 1. Linux安装Jmeter(windows安装教程自己搜一下) 1.1创建一个单独的文件夹(jmeter),用来存放Jmeter的安装包 mkdir jmeter 1.2…

centos7升级openssl_3

1、查看当前openssl版本 openssl version #一般都是1.几的版本2、下载openssl_3的包 wget --no-check-certificate https://www.openssl.org/source/old/3.0/openssl-3.0.3.tar.gz#解压 tar zxf openssl-3.0.3.tar.gz#进入指定的目录 cd openssl-3.0.33、编译安装遇到问题缺…

vscode设置打开浏览器

安装这个插件 Open Browser Preview

全排列 全排列 II N皇后

46.全排列 力扣题目链接(opens new window) 给定一个 没有重复 数字的序列,返回其所有可能的全排列。 示例: 输入: [1,2,3]输出: [ [1,2,3], [1,3,2], [2,1,3], [2,3,1], [3,1,2], [3,2,1] ] 递归终止条件:当收集元素的数组path的大小达到和nums数组…

CSP-201803-1-跳一跳

CSP-201803-1-跳一跳 解题思路 使用getline函数接收一行输入,即玩家的跳跃序列。初始化总得分scoreSum为0,上一次得分lastGrade为2(因为跳到中心的初始得分是2),以及一个布尔标志flag表示上一次是否跳到了中心&#…

Thinkphp框架漏洞--->5.0.23 RCE

1.Thinkphp ThinkPHP是一个免费开源的,快速、简单的面向对象的轻量级PHP开发框架,是为了敏捷WEB应用开发和简化 企业应用开发而诞生的。 2.漏洞原理及成因 该漏洞出现的原因在于 ThinkPHP5框架底层对控制器名过滤不严 ,从而让攻击者可以通过…

lotus 从矿工可用余额扣除扇区质押

修改 miner配置文件 # Whether to use available miner balance for sector collateral instead of sending it with each message## type: bool# env var: LOTUS_SEALING_COLLATERALFROMMINERBALANCE#CollateralFromMinerBalance falseCollateralFromMinerBalance true质押金…

(Sora模型风口)2024最新GPT4.0使用教程,AI绘画,一站式解决

一、前言 ChatGPT3.5、GPT4.0、GPT语音对话、Midjourney绘画,文档对话总结DALL-E3文生图,相信对大家应该不感到陌生吧?简单来说,GPT-4技术比之前的GPT-3.5相对来说更加智能,会根据用户的要求生成多种内容甚至也可以和…

代码随想录算法训练营第10天| 232. 用栈实现队列、225. 用队列实现栈

232. 用栈实现队列 题目链接 232. 用栈实现队列 - 力扣&#xff08;LeetCode&#xff09; 思路 记得是用两个栈实现的队列&#xff0c;但是细节记不太住&#xff0c;看了视频才勉强缝缝补补做出来。 本人题解 class MyQueue { public:stack<int> stackIn;stack<…

【C语言】动态内存管理常用函数

前言 我们在之前学习的数组开辟的空间是固定不变的&#xff0c;有时候我们需要的空间⼤⼩在程序运⾏的时候才能知道~ c语言中的动态内存开辟&#xff0c;让程序员⾃⼰可以根据实际需求申请和释放相应空间&#xff0c;这使得空间的开辟变得灵活了许多。 欢迎关注个人主页&#x…

小程序配置服务器域名的操作步骤(入门级)

将详细列出小程序配置服务器域名的操作步骤&#xff1a; 服务器选购推荐&#xff1a;腾讯云轻量服务器 点击以下任一云产品链接&#xff0c;跳转后登录&#xff0c;自动享有所有云产品优惠权益&#xff1a; 经过笔者亲测&#xff0c;强烈推荐腾讯云轻量应用服务器作为游戏服…

微服务简介及其相关技术栈

目录 1、简介 2、技术栈 3、单体架构 4、分布式架构 5、微服务 6、总结 &#x1f343;作者介绍&#xff1a;双非本科大三网络工程专业在读&#xff0c;阿里云专家博主&#xff0c;专注于Java领域学习&#xff0c;擅长web应用开发、数据结构和算法&#xff0c;初步涉猎Pyth…

【QT+QGIS跨平台编译】之五十七:【QGIS_CORE跨平台编译】—【VECTOR_TILE生成】

文章目录 一、protoc二、生成来源三、构建过程一、protoc Protocol Buffers(简称 protobuf)是一种轻量级、高效的数据序列化框架,它可以将结构化数据序列化为二进制格式,同时还可以进行反序列化和数据压缩。相比于 XML 和 JSON 等传统的文本序列化格式,protobuf 采用二进制…

wpa_supplicant交叉编译

文章目录 源码编译openssl编译libnl交叉编译WPA 开发板测试使用 源码 wpa_supplicant官网&#xff1a;http://w1.fi/wpa_supplicant/ GIT源&#xff1a;git://w1.fi/hostap.git openssl 源码&#xff1a; https://www.openssl.org/ libnl 源码&#xff1a; https://github.c…

自定义preference的使用

自定义preference的使用 control_iconsize_preference_top.xmlcontrol_iconsize_preference_middle.xmlcontrol_iconsize_preference_bottom.xmlcontrol_iconsize_preference_airplane.xmlcontrol_iconsize_preference_no_arrow_top.xmlcontrol_iconsize_preference_no_arrow_m…

3 开源鸿蒙OpenHarmony4.1源码下载、编译,生成OHOS_Image可执行文件的最简易流程

开源鸿蒙OpenHarmony4.1源码下载、编译&#xff0c;生成OHOS_Image可执行文件的最简易流程 作者将狼才鲸日期2024-03-01 准备一台Windows电脑 安装VMware或者VMware Player虚拟机 从华为镜像下载Ubuntu系统&#xff0c;用国内源下载速度更快 Ubuntu 镜像说明https://repo.hu…

map和set例题应用

个人主页&#xff1a;Lei宝啊 愿所有美好如期而遇 目录 第一题 第二题 第三题 第一题 随机链表的复制https://leetcode.cn/problems/copy-list-with-random-pointer/description/ 思路 首先遍历旧链表&#xff0c;并创建新节点&#xff0c;同时用map将旧节点与新节点…

python模型训练

目录 1、新建模型 train_model.py 2、运行模型 &#xff08;1&#xff09;首先会下载data文件库 &#xff08;2&#xff09;完成之后会开始训练模型&#xff08;10次&#xff09; 3、 训练好之后&#xff0c;进入命令集 4、输入命令&#xff1a;python -m tensorboard.ma…

网络工程师笔记6

ICMP协议 Internet控制报文协议ICMP(InternetControlMessage Protocol)是网络层的一个重要协议。ICMP协议用来在网络设备间传递各种差错和控制信息&#xff0c;它对于收集各种网络信息、诊断和排除各种网络故障具有至关重要的作用。使用基于ICMP的应用时&#xff0c;需要对ICMP…