redis持久化之AOF（Append Only File）

1 : AOF 是什么

以日志的形式来记录每个写操作（增量保存），将redis执行过的所有写指令记录下来（读操作不记 录），只允追加文件但不可改写文件，redis启动之初会读取该文件重新构造数据，换言之，redis重启
的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

2 : AOF持久化流程

1. 客户端的请求写命令会被append追加到AOF缓冲区内
2. AOF缓冲区会根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中
3. AOF文件大小超过重写策略或手动重写时，会对AOF文件进行重写（rewrite），压缩AOF文件容量
4. redis服务器重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的
在这里插入图片描述

3 : AOF默认不开启

可以在 redis.conf 文件中对AOF进行配置

1. appendonly no # 是否开启AOF，yes：开启，no：不开启，默认为no
2. appendfilename “appendonly.aof” # aof文件名称，默认为appendonly.aof
3. dir ./ # aof文件所在目录，默认./，表示执行启动命令时所在的目录，比如我们在/opt目录中，去执行
4. redis-server /etc/redis.conf 来启动redis，那么dir此时就是/opt目录

4 : 、AOF和RDB同时开启，redis听谁的？

AOF和RDB同时开启，系统默认取AOF的数据（数据不会存在丢失）

5 : AOF启动/修复/恢复

AOF的备份机制和性能虽然和RDB不同，但是备份和恢复的操作同RDB一样，都是拷贝备份文件， 需要恢复时再拷贝到Redis工作目录下，启动系统即加载

正常恢复

1. 修改默认的appendonly no，改为yes
2. 将有数据的aof文件复制一份保存到对应的目录（查看目录：config get dir）
3. 恢复：重启redis然后重新加载

异常恢复

1. 修改默认的appendonly no，改为yes
2. 如遇到aof文件损坏，通过 /usr/local/bin/redis-check-aof --fix appendonly.aof 进行
恢复

6 : AOF同步频率设置

可以在redis.config中配置AOF同步的频率
在这里插入图片描述

appendfsync always：每次写入立即同步

始终同步，每次redis的写入都会立刻记入日志；性能较差但数据完整性比较好。

appendfsync everysec：每秒同步

每秒同步，每秒记录日志一次，如果宕机，本秒数据可能丢失；更新的命令会放在内存中AOF缓冲区，每秒将缓冲区的命令追加到AOF文件

appendfsync no：不主动同步

redis不主动进行同步，把同步交给操作系统。

7 : rewrite压缩（AOF文件压缩）

7.1rewrite压缩是什么？

AOF采用文件追加方式，文件会越来越大，为了避免出现此情况，新增了重写机制，当AOF文件的大小
超过锁审定的阈值时，Redis就会启动AOF文件的内容压缩，只保留可以恢复数据的最小指令集，可以使 用命令bgrewriteaof触发重写。

7.2重写原理，如何实现重写？

AOF文件持续增长而过大时，会fork出一条新进程来将文件重写（也是先写临时文件，最后在rename替
换旧文件），redis4.0版本后的重写，是指就把rdb的快照，以二进制的形式附在新的aof头部，作为已
有的历史数据，替换掉原来的流水账操作。

7.3触发机制，何时重写？

bgrewriteaof：手动触发重写

从 Redis 2.4 开始， AOF 重写由 Redis 自行触发， bgrewriteaof 仅仅用于手动触发重写操作。
redis会记录上次重写的aof大小，默认配置是当aof文件大小是上次rewrite后大小的2倍且文件大于64M 时触发。
重写虽然可以节约大量磁盘空间，减少恢复时间，但是每次重写还是有一定负担的，因此设置redis满足 一定条件才会进行重新。

7.4 auto-aof-rewrite-percentage：设置重写基准值

设置重写的基准值，默认100，当文件达到100%时开始重写（文件是原来重写后文件的2倍时重写）。

7.5 auto-aof-rewrite-min-size：设置重写基准值

设置重写的基准值，默认64MB，AOF文件大小超过这个值开始重写。

举个例子

文件达到70MB开始重写，降到50MB，下次什么时候开始重写？100MB
系统载入时或者上次重写完毕时，redis会记录此时AOF大小，设置base_size。
如果Redis的AOF当前大小>=base_size+base_size*100%( auto-aof-rewrite-percentage
默认值) 且 当 前大小>=64mb( auto-aof-rewrite-min-size 默认值)的情况下，redis会对AOF进行重写

8 重写流程

127.0.0.1:6379> bgrewriteaof
Background append only file rewriting started
  1. 手动执行 bgrewriteaof 命令触发重写，判断是否当前有bgfsave或bgrewriteaof在运行，如果有，则等待该命令结束后再继续执行
  2. 主进程fork出子进程执行重写操作，保证主进程不会阻塞
  3. 子进程遍历redis内存中的数据到临时文件，客户端的写请求同时写入aof_buf缓冲区和
    aof_rewrite_buf重写缓冲区保证原AOF文件完整性以及新AOF文件生成期间的新的数据修改动作不会丢失
  4. 子进程写完新的AOF文件后，向主进程发送信号，父进程更新统计信息
  5. 主进程把aof_rewrite_buf中的数据写入到新的AOF文件
  6. 使用新的AOF文件覆盖旧的AOF文件，完成AOF重写

在这里插入图片描述

no-appendfsync-on-rewrite：重写时，不会执行appendfsync操作

该参数表示在正在进行AOF重写时不会将AOF缓冲区中的数据同步到旧的AOF文件磁盘，也就是说在进
行AOF重写的时候，如果此时有写操作进俩，此时写操作的命令会放在aof_buf缓存中（内存中），而不
会将其追加到旧的AOF文件中，这么做是为了避免同时写旧的AOF文件和新的AOF文件对磁盘产生的压 力。

默认是ON，表示关闭，即在AOF重写时，会对AOF缓冲区中的数据做同步磁盘操作，这在很大程度上保 证了数据的安全性。

但在数据量很大的场景，因为两者都会消耗磁盘IO，对磁盘的影响较大，可以将其设置为“yes”减轻磁盘
压力，但在极端情况下可能丢失整个AOF重写期间的数据。

如果no-appendfsync-on-rewrite为yes，不写入aof文件，只写入缓存，用户请求不会阻塞，但是在这
段时间如果宕机会丢失这段时间的缓存数据。（降低数据安全性，提高性能）

如果no-appendfsync-on-rewrite为no，还是会把数据库往磁盘里刷，但是遇到重写操作，可能会发生
阻塞。（数据安全，但是性能降低）

9 : AOF优势

  1. 备份机制更稳健，丢失数据概率更低
  2. 可读的日志文本，通过操作AOF文件，可以处理误操作

10 : 劣势

  1. 比RDB占用更多的磁盘空间
  2. 恢复备份速度要慢
  3. 每次读写都同步的话，有一定的性能压力
  4. 存在个别bug，造成不能恢复

小总结 :

1. AOF文件是一个只进行追加的日志文件
2. edis可以在AOF文件体积变得过大时，自动地在后台对AOF文件进行重写
3. AOF文件有序地保存了对数据库执行的所有写入操作，这些写入操作以redis协议的格式保存，因此
AOF文件的内容非常容易被人读懂，对文件进行分析也很轻松。
4. 对于相同的数据集来说，AOF文件的体积通常要大于RDB文件的体积
5. 根据所使用的fsync策略，AOF的速度可能会慢于RDB

总结 : 用哪个好？

  1. 官方推荐2个都启用。
  2. 如果对数据不敏感，可以单独用RDB。
  3. 不建议单独使用AOF，因为可能会出现BUG。
  4. 如果只是做纯内存缓存，可以都不用。

官方建议 :

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/117820.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

java打印杨辉三角形

java打印杨辉三角形

杨辉三角形的特点是什么？ 三角形的两条腰上的数字都是1。 每行数字左右对称。 每个数字等于上一行的左右两个数字之和。可用此性质写出整个杨辉三角形。即第n1行的第i个数等于第n行的第i-1个数和第i个数之和。 每行数字的个数与序列的序号n之间的关系是：…
阅读更多...
Linux 基础入门（学习笔记通俗易懂版）

Linux 基础入门（学习笔记通俗易懂版）

Linux基础入门（学习笔记通俗易懂版） 本文章是学习了Linux的学习记录，着重记录了我对于Linux各命令的用法与感悟，欢迎各位大佬批评指正 记录者：CYH-BI 记录日期：2023年7月7日 本篇文章将使用虚拟机并安装…
阅读更多...
hadoop集群搭建

hadoop集群搭建

hadoop有三种部署方式 1、Local (Standalone) Mode（单机模式） 数据存储在本地 2、Pseudo-Distributed Mode（伪集群模式） 数据存储在HDFS 3、Fully-Distributed Mode（集群模式） 集群部署，数据存储…
阅读更多...
修改huggingface的缓存路径

修改huggingface的缓存路径

最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。 每次远程导入模型、数据集时，都会启用huggingface的缓存机制，将整个大文件下载至缓存目录中，从而保证下一次加载时非常快速。 我们可以发现，默…
阅读更多...
2.2.3 三层交换机实现VLAN之间的通信

2.2.3 三层交换机实现VLAN之间的通信

实验2.2.3 三层交换机实现VLAN之间的通信 一、任务描述二、任务分析三、具体要求四、实验拓扑五、任务实施1.划分SW2A的VLAN，并分配接口。2.划分SW3A的VLAN，配置每个VLAN接口的IP地址。3.设计计算机的网关，实现不同VLAN之间和不同网络之间的通…
阅读更多...
探索光模块的MSA多源协议

探索光模块的MSA多源协议

在当今高度互联的世界中，光模块作为网络设备的重要部分，其性能和质量直接影响到整个网络系统的运行。其中光模块由于其灵活性和高效性，已经成为数据中心和云计算领域的主要选择。本文易天光通信将深入探讨光模块的MSA协议，揭示其重…
阅读更多...
《算法通关村——双指针妙用》

《算法通关村——双指针妙用》

《算法通关村——双指针妙用》 删除元素 描述 给你一个数组 nums 和一个值 val，你需要原地移除所有数值等于 val 的元素，并返回移除后数组的新长度。要求：不要使用额外的数组空间，你必须仅使用 O(1) 额外空间并原地修改输入数组…
阅读更多...
Pytorch公共数据集、tensorboard、DataLoader使用

Pytorch公共数据集、tensorboard、DataLoader使用

本文将主要介绍torchvision.datasets的使用，并以CIFAR-10为例进行介绍，对可视化工具tensorboard进行介绍，包括安装，使用，可视化过程等，最后介绍DataLoader的使用。希望对你有帮助 Pytorch公共数据集 torc…
阅读更多...
深度学习系列52：多目标跟踪

深度学习系列52：多目标跟踪

1. 评价指标 1）FP：False Positive，即真实情况中没有，但跟踪算法误检出有目标存在。 2）FN：False Negative，即真实情况中有，但跟踪算法漏检了。 3）IDS：ID Sw…
阅读更多...
IntelliJ IDEA 2023.2正式发布，新UI和Profiler转正

IntelliJ IDEA 2023.2正式发布，新UI和Profiler转正

你好，我是YourBatman：做爱做之事❣交配交之人。 📚前言 北京时间2023年7月26日，IntelliJ IDEA 2023.2正式发布。老规矩，吃肉之前，可以先把这几碗汤干了，更有助于消化（每篇都很顶哦…
阅读更多...
mac苹果电脑使用耳机听不到声音

mac苹果电脑使用耳机听不到声音

大家在使用耳机收听音乐时候？是否经常遇到声音和音频播放问题的情况。这里小编为大家带来了三种不同的方法，帮助大家解决耳机在macOS系统电脑上怎么听不到任何声音的教程。如果大家对这篇文章感兴趣，那就来看下面的具体步骤吧。 方法一、检查…
阅读更多...
【机器学习合集】优化目标与评估指标合集 -＞（个人学习记录笔记）

【机器学习合集】优化目标与评估指标合集 -＞（个人学习记录笔记）

文章目录 优化目标与评估指标1. 优化目标1.1 两类基础任务与常见优化目标1.2 分类任务损失0-1损失交叉熵损失与KL散度softmax损失的理解与改进Hinge损失 1.3 回归任务损失L1/L2距离L1/L2距离的改进 Huber loss 2. 评测指标2.1 分类任务中评测指标准确率(查准率)/召回率(查全率)…
阅读更多...
python爬虫入门（五）XPath使用

python爬虫入门（五）XPath使用

对于网页的节点来说，它可以定义 id、class 或其他属性。而且节点之间还有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。在页面解析时，利用 XPath 或 CSS 选择器来提取某个节点，然后再调用相应方法获取它的…
阅读更多...
算法刷题-哈希表

算法刷题-哈希表

算法刷题-哈希表 242. 有效的字母异位词 给定两个字符串 *s* 和 *t* ，编写一个函数来判断 *t* 是否是 *s* 的字母异位词。 **注意：**若 *s* 和 *t* 中每个字符出现的次数都相同，则称 *s* 和 *t* 互为字母异位词。 思路 用一个哈希表来记…
阅读更多...
入门人工智能 —— 学习数据持久化、使用 Python 将数据保存到mysql（7）

入门人工智能 —— 学习数据持久化、使用 Python 将数据保存到mysql（7）

入门人工智能 —— 学习数据持久化、使用 Python 将数据保存到mysql 什么是数据持久化？使用 Python 进行数据持久化步骤 1: 安装 MySQL步骤 2: 安装必要的 Python 库步骤 3: 连接到 MySQL 数据库步骤 4: 创建数据表步骤 5: 插入数据步骤 6: 查询数据步骤 7: 关闭连接…
阅读更多...
测试人员的KPI怎么设置

测试人员的KPI怎么设置

关于测试部的KPI，简单列举下自己所经历部门的考核指标： 工作量。根据平时跟踪的需求，编写的用例，提交的bug数等综合评估； 负责项目的质量。上线项目是否出现重大功能的事故， 如果出现了事故，分…
阅读更多...
Jmoon极萌诠释“大”科技故事，让“极速变美”成为可能

Jmoon极萌诠释“大”科技故事，让“极速变美”成为可能

10月20日，家用美容仪头部品牌Jmoon极萌(下称“极萌”)主办的“极萌美容「大」科技”峰会在北京成功举办。会议现场，来自各行业的专家学者和企业代表从自身所处领域出发，共同探讨家用美容仪的市场趋势和产品成果。 作为新锐美容仪品牌&#x…
阅读更多...
类图表示法

类图表示法

设计模式，用设计图表示的话，主要用到类图。常见UML类图如下： 1、类图：矩形框，代表一个类（Class）。类图分为三层，第一层显示类的名称，如果是抽象类，则用斜体显…
阅读更多...
mac安装nodejs，跑vue程序

mac安装nodejs，跑vue程序

1. 下载node.js for mac，地址：Node.js。一路安装就可以了，无需修改。 2. mac终端，查看node和npm的版本。 3. 配置环境变量， vim .bash_profile增加PATH$PATH:/usr/local/bin/ 4. 但是毕竟npm安装一些东西还是太慢了所…
阅读更多...
霍尔电流传感器如何应用在数据中心电量监测的-安科瑞 蒋静

霍尔电流传感器如何应用在数据中心电量监测的-安科瑞 蒋静

摘要：数据中心供电电源质量的好坏直接影响到IT设备的安全运行，因此对数据中心直流列头柜电源进出线实行监测非常重要，而通过霍尔电流传感器可以采集主进线电流、多路支路直流电流和漏电流。 关键词：数据中心；直流列头…
阅读更多...
最新文章

Copyright @ 2022~2023