Redis_持久化(AOF、RDB)

6. Redis AOF

6.1 简介

目前,redis的持久化主要应用AOF(Append Only File)和RDF两大机制,AOF以日志的形式来记录每个写操作(增量保存),将redis执行过的所有指令全部安全记录下来(读操作不记录)。只许追加文件,但不可以改写文件,redis启动之初,会读取该文件,重新构建数据。

6.2 AOF的配置

  • AOF默认不开启,在conf配置文件中进行配置。
  • 修改redis.conf配置文件
    appendonly no
    //修改
    appendonly yes
    
  • 默认文件名是appendonly.aof
  • 默认是启动后的相对路径,redis在哪里启动,appendonly.aof文件就在哪生成

6.3 AOF日志是如何实现

数据库写前日志(Write Ahead Log ,WAL),在实际写数据库前,先把修改的数据记录到日志文件中,以便发生故障时,时行恢复。

AOF日志是写后日志。redis先去执行命令,把数据写入内存中,然后才去记录日志。
在这里插入图片描述
查看AOF文件
set k1 v1
vi appendonly.aof

*3 //接下来的指令由3部分组成
$3 //指令有3个字节
set
$2 //指令有2个字节
k1
$2 //指令有2个字节
v1

为什么使用写后日志?

  1. redis为了避免检查开销,向AOF中记录日志,是不做检查的。如果写前执行,很有可能将错误指令记录到日志中,在使用redis恢复日志时,就可能会出现错误
  2. 不会阻塞当前的写操作

6.4 AOF 的潜在风险

  1. aof文件可能由于异常原因被损坏。可以使用redis自带的命令redis-check-aof --fix appendonly.aof文
    件,修复成功,可以正确启动
  2. 由于刚刚执行一个指令,还没有写入日志,就宕机了。就会导致数据永久丢失(redis做为数据库存储的
    情况)
  3. AOF避免了对当前指令的阻塞,但可能会由于磁盘写入压力较大,对下一个操作带来阻塞风险

6.5 AOF三种写回策略

打开redis.conf配置文件 appendfsync选项

  • always:同步写回:每个写指令执行完,立即同步将指令写入磁盘日志文件中
  • everysec:每秒写回:默认配置方式。每个写指令执行完,先把日志写到AOF文件的内存缓冲区。每隔一秒把缓冲区的内容写入磁盘
  • no:操作系统控制写回:每个写指令执行完,先把日志写到AOF文件的内存缓冲区,由操作系统决定何时把缓冲区的内容写入磁盘
选项写日志时机优点缺点
always同步写回数据可靠性高,基本不丢失对性能影响大
everysec每秒写回性能适中当服务器宕机时,丢失1秒内数据
no操作系统控制写回性能最高当服务器宕机时,丢失数据较多

6.6 AOF重写机制

6.6.1 简介

Redis根据数据库现有数据,创建一个新的AOF文件,读取数据库中所有键值对,重新对应一条命令写入。

可以使用命令bgrewriteaof

重写主要是对多余的命令进行简化,修改,例如对list的lpushrpop进行简化

6.6.2 AOF重写的相关配置

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

如果aof文件超过64m,且比上次重写后的大小增加了100%,自动触发重写。
例如 文件80m,开如重写,重写后降到50m,下一次,达到100m再开始重写。

6.6.3 AOF重写流程

  • bgrewirteaof触发重写,判断是否当前有重写在运行,如果有,则等待重写结束后再执行
  • 主进程fork出一个子进程,执行重写操作,保证主进程不阻塞,可以继续执行命令
  • 子进程循环遍历reids内存中的所有数据到临时文件,客户端的写请求同时写入aof缓冲区和aof重写缓冲区。保证原AOF文件完整以及新的AOF文件生成期间的新的数据修改操作不会丢失
  • 子进程写完新AOF文件以后,向主进程发送信号,主进程更新统计信息
  • 主进程把aof重写缓冲区中的数据写入到新的AOF文件
  • 用新AOF文件覆盖掉旧的AOF文件,完成AOF重写

7. Redis RDB

7.1 简介

RDB(Redis DataBase):内存快照,记录内存中某一时刻数据的状态。

RDB和AOF相比记录的数据,不是操作指令

redis提供了两个指令生成RDB文件

  • save:再主线程中执行,会阻塞主线程
  • bgsave:创建一个子线程,专门用来写RDB,避免主线程阻塞,默认配置

例如:有6GB的内存数据量,磁盘写入0.3GB/S,需要20S时间,来完成RDB文件写入,其中在这20中可能会有写入或修改数据

  • 处理技术:写时复刻技术(copy-on-write cow)。在执行快照处理的时候,依然正确执行写入操作(快照将修改数据创建副本,保存的时修改之前的数据
    在这里插入图片描述

7.2 快照频率

通过redis.conf配置文件去做处理

# save 3600 1
# save 300 100
# save 60 10000

7.3 混合使用AOF和RDB

通过redis.conf配置文件
打开aof

appendonly yes

打开混合配置

aof-use-rdb-preamble yes

在aof文件中,前半部分,就是rdb文件的内容,从rewirte之后,是aof文件内容
在这里插入图片描述

7.4关于对redis执久化处理的建议

  • 如果数据在服务器运行的时候,使用redis做缓冲,可以不使用任何持久化方式
  • 数据不能丢失,rdb和aof混合使用是一个好的选择
  • 如果数据不要求非常严格,要以允许分钟级别丢失,可以使用rdb
  • 如果只使用AOF,建议配置策略是everysec,在可靠性和性能之间做了一个折中
  • 如果磁盘允许,尽量避免AOF重写的频率,将默认值64M进行修改

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/33703.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C#Winform中的DataGridView的自动调整列宽设置

C#Winform中的DataGridView的自动调整列宽设置属性为AutoSizeColumnMode 的枚举值如下: 1、AllCells 调整列宽,以适合该列中的所有单元格的内容,包括标题单元格。 2、AllCellsExceptHeader 调整列宽,以适合该列中的所有单元格的…

C语言一些有趣的冷门知识

文章目录 概要1.访问数组元素的方法运行结果 2.中括号的特殊用法运行结果 3.大括号的特殊用法运行结果 4.sizeof的用法运行结果 5.渐进运算符运行结果 小结 概要 本文章只是介绍一些有趣的C语言知识,纯属娱乐。这里所有的演示代码我是使用的编译器是Visual Studio …

入门指南 | 如何系统搭建自己的营销战略学习体系成为领域专家?

独自进入一个行业,如果你没有几年的行业经验或者独特的营销方式,很难在行业里站住脚(每个行业潜规则都很多)。 每个行业都有周期,都有很多竞争对手,你扎进去一个具体的行业,对于各种资源有限的自…

JavaScript函数

JavaScript 函数定义 JavaScript 使用关键字 function 定义函数。 函数可以通过声明定义,也可以是一个表达式。 函数声明 在之前的教程中,你已经了解了函数声明的语法 : function functionName(parameters) {执行的代码 }函数声明后不会立即执行&am…

uni-app实现图片上传功能

效果 代码 <uni-forms-item name"ViolationImg" label"三违照片 :"><uni-file-picker ref"image" limit"1" title"" fileMediatype"image" :listStyles"listStyles" :value"filePathsL…

测试开发环境安装

安装python运行环境 下载地址&#xff1a;链接 http://python.p2hp.com/downloads/windows/index.html 选择合适自己的版&#xff0c;我下载的3.8.10的进行安装 安装码编辑器Pychrom 下载地址&#xff1a;链接 https://www.jetbrains.com/pycharm/ 拉到最下面可以下载社区版…

企业举办活动邀请媒体的意义和重要性

传媒如春雨&#xff0c;润物细无声&#xff0c;大家好&#xff0c;我是51媒体网胡老师。 企业举办活动并邀请媒体的意义和重要性是多方面的&#xff0c;主要有以下一些&#xff1a; 1. 品牌曝光与宣传&#xff1a;邀请媒体参与企业活动可以提高企业的品牌曝光度。媒体报道能够…

kubernetes的存储卷使用

目录 一、为什么使用存储卷 二、emptyDir存储卷 1.概念 2.创建Pod emptyDir 3. 验证emptyDir存储卷 三、hostPath存储卷 1.概念 2.创建Pod hostPath 3.验证hostPath存储卷 三、nfs共享存储卷 1.概念 2.安装nfs&#xff0c;配置nfs服务 3.创建Pod 4.验证nfs存储卷 一、…

论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models

论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介2. 文章概括3 文章重点技术3.1 预训练Pretraining3.1.1 预训练细节3.1.2 Llama2模型评估 3.2 微调Fine-tuning3.2.1 Supervised Fine-Tuning(FT)3.2.2 Reinforcement Learning with Human Feedback(…

(二)结构型模式:2、桥接模式(Bridge Pattern)(C++实现示例)

目录 1、桥接模式&#xff08;Bridge Pattern&#xff09;含义 2、桥接模式应用场景 3、桥接模式的UML图学习 4、C实现桥接模式的示例 1、桥接模式&#xff08;Bridge Pattern&#xff09;含义 桥接模式是一种结构型设计模式&#xff0c;它将抽象部分与实现部分分离&#…

构建Docker容器监控系统(Cadvisor +Prometheus+Grafana)

Cadvisor PrometheusGrafana 1.1、Cadvisor产品简介 Cadvisor是Google开源的一款用于展示和分析容器运行状态的可视化工具。通过在主机上运行Cadvisor用户可以轻松的获取到当前主机上容器的运行统计信息&#xff0c;并以图表的形式向用户展示。 1.2、安装docker-ce [rootloc…

arcgis栅格数据之最佳路径分析

1、打开arcmap&#xff0c;加载数据&#xff0c;需要对影像进行监督分类&#xff0c;如下&#xff1a; 这里任选一种监督分类的方法&#xff08;最大似然法&#xff09;&#xff0c;如下&#xff1a; 这里会先生成一个.ecd文件&#xff0c;然后再利用.ecd文件对影像进行分类。如…

rust关于项目结构包,Crate和mod和目录的组织

rust 最近开始学习rust语言。感觉这门语言相对java确实是难上很多。开几个文章把遇到的问题记录一下 rust关于包&#xff0c;Crate 关于包&#xff0c;Crate这块先看看官方书籍怎么说的 crate 是 Rust 在编译时最小的代码单位。如果你用 rustc 而不是 cargo 来编译一个文件…

C++使用mutex保护临界区时总是某一个线程在多次执行后才轮到下一个线程

记录一个有意思的现象&#xff0c; 假设我们启动N个线程&#xff0c;同时执行一个线程函数&#xff0c;线程函数先是进入循环进行抢占锁&#xff0c;然后睡眠一段时间模拟处理业务的过程&#xff0c;然后释放锁&#xff0c;然后进行下一次循环&#xff0c;代码如下&#xff1a…

阿里云服务器安装部署Docker使用教程

本文阿里云百科分享如何在云服务ECS实例上&#xff0c;部署并使用Docker。Docker是一款开源的应用容器引擎&#xff0c;具有可移植性、可扩展性、高安全性和可管理性等优势。开发者可将应用程序和依赖项打包到一个可移植的容器中&#xff0c;快速发布到Linux机器上并实现虚拟化…

selenium常见等待机制及其特点和使用方法

目录 1、强制等待 2、隐式等待 3、显示等待 1、强制等待 强制等待是在程序中直接调用Thread.sleep(timeout) ,来完成的&#xff0c;该用法的优点是使用起来方便&#xff0c;语法也比较简单&#xff0c;缺点就是需要强制等待固定的时间&#xff0c;可能会造成测试的时间过…

Nim游戏:取石头

&#xff08;一&#xff09;一堆取石头 背景&#xff1a; 在博弈论中&#xff0c;有一种称为Nim游戏的经典问题&#xff0c;它涉及到取石子的问题&#xff0c;其中有许多变种。Nim游戏是一种零和博弈&#xff0c;即两名玩家交替行动&#xff0c;每次只能从一堆物品中取走一定数…

【数据结构】链表(一)

链表&#xff08;一&#xff09; 文章目录 链表&#xff08;一&#xff09;01 引入02 概念及结构03 单向不带头不循环链表实现3.1 创建节点类型3.2 简易创建一个链表3.3 遍历链表每个节点3.4 获取链表长度3.5 查找是否包含关键字key是否在单链表当中3.6 头插法3.7 尾插法3.8 任…

JVM之内存模型

1. Java内存模型 很多人将Java 内存结构与java 内存模型傻傻分不清&#xff0c;java 内存模型是 Java Memory Model&#xff08;JMM&#xff09;的意思。 简单的说&#xff0c;JMM 定义了一套在多线程读写共享数据时&#xff08;成员变量、数组&#xff09;时&#xff0c;对数据…

2023-08-08 Ubuntu 挂载U盘 fdisk -l 、sudo mount /dev/sdb1 /mnt/mydisk

一、基本命令 1、插入U盘&#xff0c;查看U盘是否被系统识别&#xff1a; 打开终端&#xff0c;输入&#xff1a; sudo fdisk -l 查看系统是否识别U盘&#xff0c;如果识别&#xff0c;会显示U盘的相关信息&#xff0c;如果没有识别&#xff0c;则说明系统没有识别U盘。 2…