redis持久化之RDBAOF压缩

前引

        1、redis持久化的文件是什么

                dump.rdb appendonly.aof

        2、这两中文件有什么异同

                save 秒 1

                alaways everysec no

        3、文件存放的位置

                dir ./

        4、默认的存放位置:命令启动的地方

                dir 自定义的路径

                rdb 和aof 文件 存放在同一个路径下面

        5、rdb文件默认备份的策略是什么,如何修改这个策略

                        save 600 1

        6、备份的原理是什么

                Redis备份的原理是通过将Redis数据库中的数据持久化到磁盘上,从而实现数据的备份和恢复。

        7、aof持久化的流程

        AOF持久化的流程主要包括以下几个步骤:

  1. 在Redis服务器启动时,会根据配置的持久化策略,打开或者创建一个AOF文件,用于记录所有修改数据库的指令。

  2. 当客户端对数据库进行增删改操作时,Redis会将这些操作转换成相应的指令,并追加到AOF文件的末尾。

  3. Redis在执行完每条写命令后,会调用fsync()函数,强制将AOF缓冲区的内容写入到磁盘上。这样会导致性能稍微有些下降,但可以更好地保证数据不丢失。

  4. 当AOF文件变得太大时,Redis会自动触发AOF重写(AOF Rewrite)操作。AOF重写是指将AOF文件中的历史指令重新生成一份新的AOF文件,并且只保留产生快照后的数据,从而避免了AOF文件的膨胀和无效指令的累积。

  5. 在Redis关闭时,也会调用fsync()函数,将最后一次操作的指令保存到AOF文件中。

        通过AOF持久化方式,Redis可以在重启后,通过执行AOF文件中的指令,恢复出先前的数据库状态。虽然相比RDB持久化方式,AOF持久化的文件较大,但是它可以保证更高的数据完整性和可靠性,并且可以提供更好的读写性能。

主从复制的原理

一 Redis持久化之RDB

                Redis 提供了2个不同形式的持久化方式。

                RDB(Redis DataBase)

                AOF(Append Of File)

        1.RDB是什么

                在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里

        2. 备份是如何执行的

                Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失

        3.Fork

                Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程

                在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,Linux中引入了“写时复制技术

                一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。

        4. RDB持久化流程

        5. dump.rdb文件

                在redis.conf中配置文件名称,默认为dump.rdb

                文件在哪里启动这个文件就在哪里

        6. 配置位置

                rdb文件的保存路径,也可以修改。默认为Redis启动时命令行所在的目录下

                redis.conf:

                dir "/myredis/"

        7. 如何触发RDB快照;保持策略

                7.1 配置文件中默认的快照配置时间间隔

                7.2 命令save bgsave

                save :save时只管保存,其它不管,全部阻塞。手动保存。不建议。

                bgsave:Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。

                可以通过lastsave 命令获取最后一次成功执行快照的时间

                7.3 flushall命令

                执行flushall命令,也会产生dump.rdb文件,但里面是空的,无意义

                7.4 SNAPSHOTTING快照

                7.5. Save

                        格式:save 秒 写操作次数

                        RDB是整个内存的压缩过的Snapshot,RDB的数据结构,可以配置复合的快照触发条件,

                        默认是1分钟内改了1万次,或5分钟内改了10次,或15分钟内改了1次。

                禁用

                        不设置save指令,或者给save传入空字符串

                        7.6. stop-writes-on-bgsave-error

                        当Redis无法写入磁盘的话(磁盘已满),直接关掉Redis的写操作。推荐yes.

                        7.7 rdbcompression 压缩文件

                        对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会进行压缩。

如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能。推荐yes.

                        7.8. rdbchecksum 检查数据的完整性

                        在存储快照后,还可以让redis来进行数据校验,如果数据已经损坏就不需要再进行持久化的操作,这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能

推荐yes.

                        7.9. rdb的备份

                                先查询rdb文件的目录

                                将*.rdb的文件拷贝到别的地方

                                rdb的恢复

                                关闭Redis

                                先把备份的文件拷贝到工作目录下 cp dump2.rdb dump.rdb

                                启动Redis, 备份数据会直接加载

                        7.10. 优势

                                适合大规模的数据恢复

                                对数据完整性和一致性要求不高更适合使用

                                节省磁盘空间

                                恢复速度快

                        7.11 劣势

                                Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑

                                虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。

                                在备份周期在一定间隔时间做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改。

二 Redis持久化之AOF

        2.1. AOF(Append Only File)

                2.1.1. 是什么

                        以日志的形式来记录每个写操作(增量保存),将Redis执行过的所有写指令记录下来(读操作不记录), 只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

                2.1.2. AOF持久化流程

                        (1)客户端的请求写命令会被append追加到AOF缓冲区内;

                        (2)AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中;

                        (3)AOF文件大小超过重写策略或手动重写时,会对AOF文件rewrite重写,压缩AOF文件容量;

                        (4)Redis服务重启时,会重新load加载AOF文件中的写操作达到数据恢复的目的;

                2.1.3. AOF默认不开启

                        可以在redis.conf中配置文件名称,默认为 appendonly.aof

                        AOF文件的保存路径,同RDB的路径一致。

                2.1.4. AOF和RDB同时开启,redis听谁的?

                        AOF和RDB同时开启,系统默认取AOF的数据(数据不会存在丢失)

                2.1.5. AOF启动/修复/恢复

                        AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样,都是拷贝备份文件,需要恢复时再拷贝到Redis工作目录下,启动系统即加载。

                正常恢复

                        修改默认的appendonly no,改为yes

                        将有数据的aof文件复制一份保存到对应目录

                        恢复:重启redis然后重新加载

                异常恢复

                        修改默认的appendonly no,改为yes

                        如遇到AOF文件损坏,通过

                                /usr/redis/bin/redis-check-aof --fix 文件的位置/appendonly.aof进行恢复

                备份被写坏的AOF文件

                恢复:重启redis,然后重新加载

                2.1.6. AOF同步频率设置

                        appendfsync always

                        始终同步,每次Redis的写入都会立刻记入日志;性能较差但数据完整性比较好

                        appendfsync everysec

                        每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失。

                        appendfsync no

                        redis不主动进行同步,把同步时机交给操作系统。

                2.1.7. Rewrite压缩

                        1是什么:

                                AOF采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制, 当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩, 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof

                        2重写原理,如何实现重写

                                AOF文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename),redis4.0版本后的重写,是指上就是把rdb 的快照,以二级制的形式附在新的aof头部,作为已有的历史数据,替换掉原来的流水账操作。

                        no-appendfsync-on-rewrite:

                        如果 no-appendfsync-on-rewrite=yes ,不写入aof文件只写入缓存,用户请求不会阻塞,但是在这段时间如果宕机会丢失这段时间的缓存数据。(降低数据安全性,提高性能)

                        如果 no-appendfsync-on-rewrite=no, 还是会把数据往磁盘里刷,但是遇到重写操作,可能会发生阻塞。(数据安全,但是性能降低)

                        触发机制,何时重写

Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发

重写虽然可以节约大量磁盘空间,减少恢复时间。但是每次重写还是有一定的负担的,因此设定Redis要满足一定条件才会进行重写。

auto-aof-rewrite-percentage:设置重写的基准值,文件达到100%时开始重写(文件是原来重写后文件的2倍时触发)

->40m 80

auto-aof-rewrite-min-size:设置重写的基准值,最小文件64MB。达到这个值开始重写。

例如:文件达到70MB开始重写,降到50MB,下次什么时候开始重写?100MB

系统载入时或者上次重写完毕时,Redis会记录此时AOF大小,设为base_size,

如果Redis的AOF当前大小>= base_size +base_size*100% (默认)且当前大小>=64mb(默认)的情况下,Redis会对AOF进行重写。

                        3、重写流程(背)

                        (1)bgrewriteaof触发重写,判断是否当前有bgsave或bgrewriteaof在运行,如果有,则等待该命令结束后再继续执行。

                        (2)主进程fork出子进程执行重写操作,保证主进程不会阻塞。

                        (3)子进程遍历redis内存中数据到临时文件,客户端的写请求同时写入aof_buf缓冲区和aof_rewrite_buf重写缓冲区保证原AOF文件完整以及新AOF文件生成期间的新的数据修改动作不会丢失。

                        (4)1).子进程写完新的AOF文件后,向主进程发信号,父进程更新统计信息。2).主进程把aof_rewrite_buf中的数据写入到新的AOF文件。

                        (5)使用新的AOF文件覆盖旧的AOF文件,完成AOF重写。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/647173.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

redis + 拦截器 :防止数据重复提交

1.项目用到,不是核心 我们干系统开发,不免要考虑一个点,数据的重复提交。 我想我们之前如果要校验数据重复提交要求,会怎么干?会在业务层,对数据库操作,查询数据是否存在,存在就禁止插入数据; 但是吧,我们每次crud操作都会连接…

【docker】解决docker overlay2目录占用大量磁盘空间,导致验证码出不来,报错Can‘t create output stream!

问题: 验证码出现Cant create output stream!报错信息 排查: 所在服务器磁盘使用率已经到达100%,经排查,服务器目录/var/lib/docker/overlay2占用大量磁盘空间, 解决: 使用【docker system prune】命令删…

基于移动边缘计算 (MEC) 的资源调度分配优化研究(提供MATLAB代码)

一、优化模型简介 边缘计算资源调度优化模型是为了解决边缘计算场景下的资源分配和任务调度问题而提出的一种数学模型。该模型旨在通过优化算法来实现资源的有效利用和任务的高效执行,以提高边缘计算系统的性能和用户的服务体验。 在边缘计算资源调度优化模型中&a…

【python题解17】给你一个有符号整数x,返回将x中的数字部分反转后的结果。输入的整数不超过int类型的最大范围。

1. 题目&#xff1a;给你一个有符号整数x&#xff0c;返回将x中的数字部分反转后的结果。输入的整数不超过int类型的最大范围。 输入样例&#xff1a;-123 输出样例&#xff1a;-321 2. 源代码 n int(input()) flag True #代表正数 if n < 0: #当n是负数时候&#xff…

前端学习:HTTP协议、请求响应、分层解耦

HTTP协议 HTTP-概述 HTTP&#xff1a;Hyper Text Transfer Protocol(超文本传输协议)&#xff0c;规定了浏览器与服务器之间数据传输的规则。如果想知道http协议的数据传输格式有哪些&#xff0c;可以打开浏览器&#xff0c;点击 F12 打开开发者工具&#xff0c;点击Network 来…

E7数据库备份和恢复

E7数据库备份和恢复 一、实验目的 在Mysql上&#xff0c;学习如何备份数据库和恢复的各种方法。 二、实验要求: 1、基本硬件配置:英特尔Pentium III 以上,大于4G内存&#xff1b; 2、软件要求:Mysql&#xff1b; 3、时间:1小时&#xff1b; 4、撰写实验报告并按时提交。 三、…

C++刷题日记:Day 1

题目描述 小明是一野生动物园的管理人员&#xff0c;他统计了一份野生动物的名单&#xff0c;糟糕的是&#xff0c;因为操作不当导致打乱了名单&#xff0c;每种野生动物出现的次数都无法进行查询。 小明只能重新进行统计&#xff0c;已知名单中的动物名称只由大小写字母构成&a…

实用工具合集(持续更新...)

一、搜索引擎 1.1、小白盘 网站&#xff1a;https://www.xiaobaipan.com 度盘资源搜索的网站&#xff0c;能够搜索电影、电视剧、小说、音乐等资源&#xff08;注意&#xff1a;评论区很多小伙伴说小白盘有毒&#xff0c;我用谷歌浏览器搜索过几次并无大碍&#xff0c;请慎用…

C++ day 1

思维导图 使用C编写一个程序&#xff0c;输入一个字符串&#xff0c;统计大小写字母、数字、空格和其他符号的个数 #include <iostream>using namespace std;int main() {int capital 0;int lower 0;int digit 0;int spaces 0;int others 0;cout << "请…

从全流程的角度来了解python包的使用,也许你会有不一样的认识

在python中&#xff0c;只要我们一谈到包或模块&#xff0c;基本默认说的就是包的导入和使用。也就是说只要我们知道包的名字&#xff0c;导入后知道怎么使用基本就可以了&#xff0c;但本人认为&#xff0c;我们仅仅了解的是包的一部分&#xff0c;若想对包有个整体的认识&…

EXCEL VBA调用adobe的api识别电子PDF发票里内容并登记台账

EXCEL VBA调用adobe的api识别电子PDF发票里内容并登记台账 代码如下 使用须知&#xff1a; 1、工具--引用里勾选[Adobe Acrobat 10.0 Type Library] 2、安装Adobe Acrobat pro软件Dim sht As Worksheet Function BrowseFolders() As String 浏览目录Dim objshell As ObjectDim…

测试模型分类

测试模型 1. 概述 软件测试和软件开发一样,都遵循软件工程原理,遵循管理学原理,所以理解好软件的开发模型会便于理解测试模型. 软件测试的一般流程: 我们发现一般的软件测试流程和软件开发的流程一样,但是这样的流程测试介入的较晚,对于前期重大的bug很难修复.所以测试的流程…

网工内推 | 急招网工、运维,弹性工作,不加班,最高22K

01 Finogeeks 招聘岗位&#xff1a;运维工程师 职责描述&#xff1a; 1、负责FinClip小程序数字化管理系统产品的POC测试、交付部署、日常巡检工作&#xff0c;包括&#xff1a;交付运维方案、安装部署、数据对接调试、安全事件分析、日常巡检维护等 2、负责FinClip小程序数字…

QCustomPlot开源库使用

1.简介 QCustomPlot是用于绘图和数据可视化的Qt C 小部件。它没有进一步的依赖关系&#xff0c;并且有据可查。该绘图库专注于制作美观&#xff0c;出版质量的2D绘图&#xff0c;图形和图表&#xff0c;以及为实时可视化应用程序提供高性能。看一下“ 设置”和“ 基本绘图”教…

css的flex-direction: column;与direction: rtl;的作用

flex 个人理解 对子元素影响 设为 Flex 布局以后&#xff0c;子元素的float、clear和vertical-align属性将失效。 作用自身的样式 1. flex-direction 属性决定主轴的方向(即项目的排列方向) 2. flex-wrap属性定义,如果一条轴线排不下&#xff0c; 如何换行。 3. flex-flow属性…

猫头虎分享:已解决RuoYi-Vue3 项目代码生成器默认生成代码使用的Vue2模板代码问题与Vue2升级到Vue3解决方案

博主猫头虎的技术世界 &#x1f31f; 欢迎来到猫头虎的博客 — 探索技术的无限可能&#xff01; 专栏链接&#xff1a; &#x1f517; 精选专栏&#xff1a; 《面试题大全》 — 面试准备的宝典&#xff01;《IDEA开发秘籍》 — 提升你的IDEA技能&#xff01;《100天精通Golang》…

PHP中一些特征函数导致的漏洞总结

第一部分&#xff1a; 特征函数 接触到几个常用的函数&#xff1a; \\ \\\ md5 intval strpos in_array preg_match str_replacephp用这些函数实现过滤一些代码&#xff0c;漏洞可能有一些特性&#xff0c;利用这些特征代码进行对比&#xff1b;账号密码对比&#xff1b;强制检…

由于找不到msvcr120.dll,无法继续执行代码

一、msvcr120.dll作用介绍 msvcr120.dll文件是Microsoft Visual C Redistributable Package的一部分&#xff0c;它是一个动态链接库&#xff08;DLL&#xff09;文件。这个文件在Windows操作系统中提供C运行时库支持&#xff0c;包含了大量系统级函数和对象&#xff0c;这些函…

jetson-inference----docker内运行分类任务

系列文章目录 jetson-inference入门 jetson-inference----docker内运行分类任务 文章目录 系列文章目录前言一、进入jetson-inference的docker二、分类任务总结 前言 继jetson-inference入门 一、进入jetson-inference的docker 官方运行命令 进入jetson-inference的docker d…

数据结构——静态链表

1.定义&#xff1a; &#xff08;1&#xff09;单链表&#xff1a;各个结点散落在内存中的各个角落&#xff0c;每个结点有指向下一个节点的指针(下一个结点在内存 中的地址); &#xff08;2&#xff09;静态链表&#xff1a;用数组的方式来描述线性表的链式存储结构: 分配一…