最新Redis7持久化(权威出版)

首先我们要知道什么是持久化:持久化是指将数据保存到磁盘上,以确保在Redis服务器重启时数据不会丢失。

Redis支持两种主要的持久化方式:RDB持久化AOF持久化

下面让我依次给你介绍一下:

RDB持久化

作用

这是将Redis数据保存到磁盘的一种方式,RDB持久化通过在指定时间间隔内将数据集快照写入磁盘中。这样一来即使故障宕机,快照文件也不会丢失,数据的可靠性也就得到了保证.
这个快照文件就称为RDB文件(dump.rdb),其中,RDB就是Redis DataBase的缩写。

案例演示
自动触发

在我们Redis7中

我们可以看到执行的RDB条件

在1600秒内,如果有至少1个键被修改,则执行快照 

在300秒内,如果有至少10个键被修改,则执行快照

在60秒内,如果有至少10000个键被修改,则执行快照

这个条件对于我们演示案例过于苛刻,所以我们修改成5秒2次修改

修改文件保存路径

现在我们在5秒内修改两个数据:

当我们超过5秒添加两个数据:

恢复文件

备份成功后故意用flushdb清空redis,看看是否可以恢复数据

结论:执行flushall/flushdb命令也会产生dump.rdb文件,但里面是空的,无意义

手动触发

为什么需要手动触发呢?因为实际生产中需要某个时刻添加一个在重要数据,需要立刻保存就需要手动触发了。

Redis提供了两个命令来生成RDB文件,分别是savebgsave

我们可以看一下官方文档:

Save:在主程序中执行会阻塞当前redis服务器,直到持久化工作完成执行save命令今期间,Redis不能处理其他命令,线上禁止使用

bgsave

Redis会在后台异步进行快照操作,不阻塞快照同时还可以响应客户端请求,该触发方式会fork一个子进程由子进程复制持久化过程

官方说明:

Redis会使用bgsave对当前内存中的所有数据做快照这个操作是子进程在后台完成的,这就允许主进程同时可以修改数据

其fork就是在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,尽量避免膨胀。

我们可以通过lastsave获取最后一次成功获取快照的时间

RDB优点

官网说明:

总结:

  • 适合大规模的数据恢复
  • 按照业务定时备份
  • 对数据完整性和一致性要求不高
  • RDB文件在内存中的加载速度要比AOF快很多

RDB缺点

官网说明:

总结:

  • 在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失从当前至最近一次快照期间的数据,快照之间的数据会丢失
  • 内存数据的全量同步,如果数据量太大会导致I/0严重影响服务器性能
  • RDB依赖于主进程的fork,在更大的数据集中,这可能会导致服务请求的瞬间延迟。fork的时候内存中的数据被克隆了一份,大致2倍的膨胀性,需要考虑

检查修复durp.rdb文件

哪些情况会触发RDB拍照

  1. 配置文件中的默认的拍照配置
  2. 手动save/bgsave
  3. 执行flushall/flushdb命令也会产生dump.rdb文件,但里面是空的,无意义
  4. 执行shutdown且没有设置开启AOF持久化
  5. 主从复制时,主节点自动触发

如何禁用快照

动态所有停止RDB保存规则的方法: redis-cli config set save

修改配置:

AOF持久化

官网介绍:

说明:

以日志的形式来记录每一个写的操作,将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

默认情况下,redis是没有开启AOF(append only file)的。开启AOF功能需要设置配置: appendonly yes

工作流程:


1
Client作为命令的来源,会有多个源头以及源源不断的请求命令。
2
在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中进行保存。这里的AOF缓冲区实际上是内存中的一片区域,存在的目的是当这些命令达到一定量以后再写入磁盘,避免频繁的磁盘IO操作。
3
AOF缓冲会根据AOF缓冲区 同步文件的三种写回策略将命令写入磁盘上的AOF文件。
4
随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(又称 AOF重写),从而起到AOF文件压缩的目的。
5
当Redis Server 服务器重启的时候会从AOF文件载入数据。

三种写回策略:

  • Always:同步写回,每一个命令执行完立刻同步的将日志写回磁盘
  • everysec:每秒写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,每隔1秒把缓冲区中的内容写入磁盘
  • no:操作系统控制的写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘

案例演示
开启AOF

AOF文件保存路径

在redis7之前:AOF保存文件的位置和RDB保存文件的位置一样都是通过redis.conf配置文件的 dir 配置

在redis7之后:AOF文件保存路径变成了dir(rdb保存路径)+appenddirname

AOF文件保存名称

在redis7之前:

在redis7之后:

官方说明:

在Redis7之后将一个AOF文件差分为三个文件:base基本文件、incr增量文件、manifest清单文件

文件恢复
正常恢复

写操作继续,生成的AOF文件到指定的目录

恢复:重启redis然后重新加载

           

 异常恢复               

 故意乱写正常的AOF文件模拟网络闪断文件写error:修改appendonly.aof.1.incr.aof文件

      

此时我们启动redis,发现根本启动不了一点

使用异常修复命令:redis-check-aof --fix

 成功修复:                                                                                                                                                                                             

AOF优缺点   

优点:

官方解释:

概括:更好的保护数据不丢失、性能高、可做紧急恢复

缺点:          

官方解释:

概括:

  • 相同数据集的数据而言AOF文件要远大于RDB文件,恢复速度慢于RDB
  • AOF运行效率低于RDB,每秒同步策略效率较好,不同步频率和RDB相同

AOF重写机制

                ​​​​​​​        

一句话:启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集。
由于AOF持久化是Redis不断将写命令记录到 AOF 文件中,随着Redis不断的进行,AOF 的文件会越来越大,文件越大,占用服务器内存越大以及 AOF 恢复要求时间越长。

为了解决这个问题,Redis新增了重写机制,当AOF文件的大小超过所设定的峰值时,Redis就会自动启动AOF文件的内容压缩,

只保留可以恢复数据的最小指令集或者可以手动使用命令 bgrewriteaof 来重新

案例演示

需求说明:

启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集。

 举个例子:比如有个key 

一开始你  set k1 v1

然后改成  set k1 v2

最后改成  set k1 v3

如果不重写,那么这3条语句都在aof文件中,内容占空间不说启动的时候都要执行一遍,共计3条命令;

但是,我们实际效果只需要set k1 v3这一条,所以,

开启重写后,只需要保存set k1 v3就可以了只需要保留最后一次修改值,相当于给AOF文件瘦身减肥,性能更好。

AOF重写不仅降低了文件的占用空间,同时更小的AOF也可以更快地被Redis加载。

前期准备

开启AOF

为了演示我们将自动触发调小:

关闭融合:

自动触发

对同一个k不断地赋值:

当我们的内存到了1k的时候,触发重写

手动触发

客户端向服务器发送bgrewriteaof

重写原理

1:在重写开始前,redis会创建一个“重写子进程”,这个子进程会读取现有的AOF文件,并将其包含的指令进行分析压缩并写入到一个临时文件中。

2:与此同时,主进程会将新接收到的写指令一边累积到内存缓冲区中,一边继续写入到原有的AOF文件中,这样做是保证原有的AOF文件的可用性,避免在重写过程中出现意外。

3:当“重写子进程”完成重写工作后,它会给父进程发一个信号,父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中

4:当追加结束后,redis就会用新AOF文件来代替旧AOF文件,之后再有新的写指令,就都会追加到新的AOF文件中

5:重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似

AOF优化配置项详解

RDB-AOF混合持久化

官网说明


数据恢复顺序和加载流程

在同时开启RDB和AOF的时候,重启只会加载AOF文件,不会加载RDB文件

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​         

对比

RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储

AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以edis协议追加保存每次写的操作到文件未尾

同时开启两种持久化方式

在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整.

RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。那要不要只使用AOF呢?

作者建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),留着rdb作为一个万一的手段

推荐开启混合模式:

开启之后:

先使用RDB进行快照存储,然后使用AOF持久化记录所有的写操作,当重写策略满足或手动触发重写的时候,将最新的数据存储为新的RDB记录。这样的话,重启服务的时候会从RDB和AOF两部分恢复数据,既保证了数据完整性,又提高了恢复数据的性能。简单来说:混合持久化方式产生的文件一部分是RDB格式,一部分是AOF格式。----》AOF包括了RDB头部+AOF混写

纯缓存模式

同时关闭RDB+AOF

禁用RDB:save ""

禁用AOF:appendonly no

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/212644.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java8新特性 - Stream

一、特性 Java 8引入的Stream API为集合&#xff08;Collections&#xff09;提供了一种声明式的处理方式&#xff0c;支持丰富的操作&#xff0c;包括筛选、映射、归约等。以下是一些Stream的主要功能和使用方式的案例&#xff1a; 创建Stream&#xff1a; List<String&…

Java语言概述及保姆级入门教程(JDK 17版本)

笔记来自尚硅谷老师-康老师 学习教程&#xff1a;https://www.bilibili.com/video/BV1PY411e7J6/?spm_id_from333.337.search-card.all.click 1、Java基础全程脉络图 1.1 本章专题与脉络 2. 抽丝剥茧话Java 2.1 当前大学生就业形势 麦可思研究院发布了《2022年中国大学生就业…

TCP 和UDP 到底有啥区别

TCP&#xff08;传输控制协议&#xff09;和UDP&#xff08;用户数据报协议&#xff09;是互联网上常用的两种传输层协议&#xff0c;它们在数据传输方式和特性上有显著的区别。下面是TCP和UDP的主要区别&#xff1a; 连接性: TCP 是一种面向连接的协议。在数据传输前&#xf…

C#图像处理OpenCV开发指南(CVStar,09)——边缘识别之Scharr算法的实例代码

1 边缘识别之Scharr算法 算法文章很多&#xff0c;不再论述。 1.1 函数原型 void Cv2.Scharr(src,dst,ddepth,dx,dy,scale,delta,borderType&#xff09; 1.2 参数说明 src 代表原始图像。dst 代表目标图像。ddepth 代表输出图像的深度。CV_16Sdx 代表x方向上的求导阶数…

uniApp应用软件在运行时,不符合华为应用市场审核标准。解决方案合集!

&#xff08;暂时用不到的也建议收藏一下&#xff0c;因为文章持续更新中&#xff09; 最新更改时间&#xff1a;20023-12-10 第一次做App应用开发相信大家一定都遇到过华为应用市场审核的“驳回”&#xff01; 有些问题一看就明白可以立马修改&#xff0c;而有一些问题修改意…

Dubbo入门直接上手,结合微服务详解

Dubbo 高性能、轻量级的 Java RPC 框架 RPC&#xff1a; Remote Procedure Call 远程过程调用&#xff0c;简单来说就是它允许一个计算机程序通过网络请求调用另一个计算机上的程序&#xff0c;就像本地调用一样。有非常多的协议和技术来都实现了RPC的过程&#xff0c;比如&a…

Elasticsearch 8.9 refresh刷Es缓冲区的数据到Lucene,更新segemnt,使数据可见

一、相关API的handler1、接受HTTP请求的hander(RestRefreshAction)2、往数据节点发送刷新请求的action(TransportRefreshAction)3、数据节点接收主节点refresh传输的action(TransportShardRefreshAction) 二、在IndexShard执行refresh操作1、根据入参决定是使用lucene提供的阻塞…

【华为数据之道学习笔记】3-8以确保合规遵从为核心的外部数据管理

一、以确保合规遵从为核心的外部数据管理 外部数据是指华为公司引入的外部组织或者个人拥有处置权利的 数据&#xff0c;如供应商资质证明、消费者洞察报告等。外部数据治理的出发点是合规遵从优先&#xff0c;与内部数据治理的目的不同。 外部数据的治理主要遵循以下原则。 1&…

【设计模式--创建型--原型模式】

设计模式--创建型--原型模式 原型模式概述结构实现结果 案例代码结果使用场景 扩展&#xff08;深\浅克隆&#xff09;浅克隆演示&#xff1a;结果&#xff1a;使用深克隆&#xff08;利用对象流&#xff09;结果 原型模式 概述 用一个已经创建的实例作为原型&#xff0c;通过…

Go简单了解

0.一直很好奇,go是不是像传说中的速度快,解决了多线程问题,快速进行了解了解,和java进行对比,他是怎么解决语言发展的问题的…,所有语言都是差不多的,只是熟练程度不同而已 1.go图标是土拨鼠,2009发行 docker使用go,解决了并发问题 google facebook 腾讯 百度 七牛云 京东 小米…

Spring Cloud Gateway + Nacos + LoadBalancer实现企业级网关

1. Spring Cloud Gateway 整合Nacos、LoadBalancer 实现企业级网关 前置工作&#xff1a; 创建 SpringBoot 多模块项目创建网关&#xff08;gateway-service&#xff09;、用户&#xff08;user-service&#xff09;模块用户模块添加 Nacos discovery 支持以及 Spring Web&am…

gitbash下载安装

参考教程 零、下载 官网地址 2.43.0win64 链接&#xff1a;https://pan.baidu.com/s/16urs_nmky7j20-qNzUTTkg 提取码&#xff1a;7jaq 一、安装 图标组件&#xff08;Additional icons&#xff09;&#xff1a;选择是否创建桌面快捷方式&#xff1b;桌面浏览&#xff08;Win…

设计模式--命令模式的简单例子

引入&#xff1a;以一个对数组的增删改查为例。通过命令模式可以对数组进行增删改查以及撤销回滚。 一、基本概念 命令模式有多种分法&#xff0c;在本文中主要分为CommandMgr、Command、Receiver. CommandMgr主要用于控制命令执行等操作、Command为具体的命令、Receiver为命…

逸迅科技丁红阳:三种能力帮助企业打造GBI “护城河”

大数据产业创新服务媒体 ——聚焦数据 改变商业 近日&#xff0c;由上海市经济和信息化委员会、上海市科学技术委员会指导&#xff0c;数据猿与上海大数据联盟联合主办的“2023企业数智化转型升级发展论坛”在上海举行。本次论坛以“释放数字价值驱动智能升级”为主题&#xf…

piakachu越权漏洞

水平越权 首先打开这一关&#xff0c;在右侧有一些提示&#xff0c;我们可以看到 然后我们随便输入一组信息即可&#xff0c;可以在url中看到这样的字段 当我们尝试在url中直接更换另一个用户名时可以发现&#xff0c;直接切换到了另一个用户的身份 垂直越权 这里可以看到右边…

QML和C++交互中,实现C++中connect到qml的信号,再从qml发射信号传递数据给C++的一种方式

1.需求&#xff1a; 假设我们有一个需求&#xff0c;要求在用户点击列表中的项目时&#xff0c;不仅在控制台上输出项目的名称&#xff0c;还要在C端进行一些处理。我们希望在C端能够接收到用户点击的项目名称&#xff0c;并进行相应的处理。 2.分析&#xff1a; 在这种情况…

Android 10.0 系统framework修改低电量关机值为2%

1.前言 在10.0的系统产品开发中,在系统关于低电量关机的值,每个平台都不同,根据实际开发底层硬件的要求看实际情况来调整这个值, 所以需要分析相关的电量变化执行的代码流程,来实现这个功能 2.系统framework修改低电量关机值为2%的核心类 frameworks\base\services\cor…

一文学会使用 PyInstaller 将 Python 脚本打包为 .exe 可执行文件

文章目录 前言PyInstaller特点跨平台支持自动依赖项处理单文件发布支持图形用户界面&#xff08;GUI&#xff09;和命令行界面&#xff08;CLI&#xff09;应用支持多种打包选项 基本用法常用参数其它参数 版本 & 环境实现步骤安装 PyInstaller创建 Python 脚本使用 PyInst…

Strange-Towers-of-Hanoi

title: Strange Towers of Hanoi date: 2023-12-11 03:20:05 tags: 递推 categories: 算法进阶指南 题目大意 解出 n n n 个盒子 4 4 4 座塔的汉诺塔问题最少需要多少次&#xff1f; 思路 首先考虑 n n n 个盒子 3 3 3 座塔的经典汉诺塔问题&#xff0c;设 d [ n ] d[n] …

第三十章 控制到 XML 模式的映射 - Array of Classname

文章目录 第三十章 控制到 XML 模式的映射 - Array of ClassnameArray of Classname 第三十章 控制到 XML 模式的映射 - Array of Classname Array of Classname 本部分显示了从启用 XML 的类生成的XML 架构的一部分&#xff0c;此时该类包含定义为类名数组的属性。例如&…