Redis线上救命丸:01---误操作AOF、RDB恢复数据

  • Redis的flushall/flushdb命令可以做数据清除,对于Redis的开发和运维人员有一定帮助,然而一旦误操作,它的破坏性也是很明显的。怎么才能快速恢复数据,让损失达到最小呢?本文我们将结合之前学习的Redis相关知识进行分析,最后给出一个合理的方案

  • 注意:为了方便说明,下文中除了AOF文件中的flushall/flushdb以外,其他所有的flushall/flushdb都用flush代替

  • 本文假设进行flush操作的Redis是一对主从结构的主节点,其中键值对的个数是100万,每秒写入量是1000

一、缓存与存储

  • 被误操作flush后,根据当前Redis是缓存还是存储使用策略有所不同:

    • 缓存:对于业务数据的正确性可能造成损失还小一点,因为缓存中的数据可以从数据源重新进行构建,但是在前面文章介绍了缓存雪崩和缓存穿透的相关知识,当前场景也有类似的地方,如果业务方并发量很大,可能会对 后端数据源造成一定的负载压力,这个问题也是不容忽视

    • 存储:对业务方可能会造成巨大的影响,也许flush操作后的数据是重要配置,也可能是一些基础数据,也可能是业务上的重要一环,如果没有提 前做业务降级操作,那么最终反馈到用户的应用可能就是报错或者空白页面 等,其后果不堪设想。即使做了相应的降级或者容错处理,对于用户体验也有一定的影响

  • 所以Redis无论作为缓存还是作为存储,如何能在flush操作后快速恢复数据才是至关重要的。持久化文件肯定是恢复数据的媒介,下面将对AOF和RDB文件进行分析

二、借助AOF机制恢复

  • 关于AOF语法可以参阅:之前我发表的Redis使用篇里关于AOF的介绍

  • Redis执行了flush操作后,AOF持久化文件会受到什么影响呢?如下所示:

    • appendonly no:对AOF持久化没有任何影响,因为根本就不存在AOF文 件

    • appendonly yes:只不过是在AOF文件中追加了一条记录,例如下面就是AOF文件中的flush操作记录:

*1
$8
flushall
  • 虽然Redis中的数据被清除掉了,但是AOF文件还保存着flush操作之前完整的数据,这对恢复数据是很有帮助的。注意问题如下:

    • 调大AOF重写参数auto-aof-rewrite-percentage和auto-aof-rewrite-minsize,让Redis不能产生AOF自动重写

    • 拒绝手动bgrewriteaof

    • 1)如果发生了AOF重写,Redis遍历所有数据库重新生成AOF文件,并会覆盖之前的AOF文件。所以如果AOF重写发生了,也就意味着之前的数据就丢掉了,那么利用AOF文件来恢复的办法就失效了。所以当误操作后,需要考虑如下两件事:

    • 2)如果要用AOF文件进行数据恢复,那么必须要将AOF文件中的flushall相关操作去掉,为了更加安全,可以在去掉之后使用redis-check-aof这个工具去检验和修复一下AOF文件,确保AOF文件格式正确,保证数据恢复正常

三、RDB有什么变化 

  • Redis执行了flushall操作后,RDB持久化文件会受到什么影响呢?

  • 1)如果没有开启RDB的自动策略:那么除非手动执行过save、bgsave或者发生了主从的全量复制,否则RDB文件也会保存flush操作之前的数据,可以作为恢复数据的数据源。注意问题如下:

    • RDB文件中的数据可能没有AOF实时性高,也就是说,RDB文件很可能很久以前主从全量复制生成的,或者之前用save、bgsave备份的

    • 防止手动执行save、bgsave,如果此时执行save、bgsave,新的RDB文件就不会包含flush操作之前的数据,被老的RDB文件进行覆盖

  • 2)如果开启了RDB的自动策略:由于flush涉及键值数量较多,RDB文件会被清除,意味着使用RDB恢复基本无望

  • 综上所述,如果AOF已经开启了,那么用AOF来恢复是比较合理的方式,但是如果AOF关闭了,那么RDB虽然数据不是很实时,但是也能恢复部分数据,完全取决于RDB是什么时候备份的。当然RDB并不是一无是处,它 的恢复速度要比AOF快很多,但是总体来说对于flush操作之后不是最好的恢复数据源

四、从节点有什么变化

  • Redis从节点同步了主节点的flush命令,所以从节点的数据也是被清除了,从节点的RDB和AOF的变化与主节点没有任何区别

五、快速恢复数据

  • 下面使用AOF作为数据源进行恢复演练

  • 1)防止AOF重写。快速修改Redis主从的auto-aof-rewrite-percentage和 auto-aof-rewrite-min-size变为一个很大的值,从而防止了AOF重写的发生, 例如:

config set auto-aof-rewrite-percentage 1000
config set auto-aof-rewrite-min-size 100000000000
  • 2)去掉主从AOF文件中的flush相关内容:

*1
$8
flushall
  • 3)重启Redis主节点服务器,恢复数据

六、总结

  • 本文通过flush误操作的数据恢复,重新梳理了持久化、复制的相关知识,这里建议运维人员提前准备shell脚本或者其他自动化的方式处理,因为故障不等人,对于flush这样的危险操作,应该通过有效的方式进行规避,下节将介绍具体的方法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/444427.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Log4j使用总结

一、介绍Log4j是Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务 器、NT的事件记录器、UNIX Syslog守护进程等;我们也可以控制每一条日志的输出格式;通过定…

C语言: GDB调试技术(一)

启动GDB的方法有以下几种: 1、gdb <program> program也就是你的执行文件,一般在当然目录下。’ 例如我写了一个简单的helloword程序 #include <stdio.h> int main(){int a = 1;char* ch = "hello world";printf("%s\n",ch);return 0; }那么我…

C语言: ---windows下VS Debug调试

首先我先列出来常用的一些命令或者键盘控制: F5 开始调试,执行到断点 Shift + F5 停止调试 F9 在光标所在行添加断点 Shift + F9 QuickWatch Shift Ctrl F9 delete all 断点 F10 单步执行 F11 进入调用的函数 Shift F11 跳出这次调用的函数 另外还可以用Disable all breakpoi…

leetcode350. 两个数组的交集 II

给定两个数组&#xff0c;编写一个函数来计算它们的交集。 示例 1: 输入: nums1 [1,2,2,1], nums2 [2,2] 输出: [2,2] 示例 2: 输入: nums1 [4,9,5], nums2 [9,4,9,8,4] 输出: [4,9] 说明&#xff1a; 输出结果中每个元素出现的次数&#xff0c;应与元素在两个数组中出…

C语言: ---Linux下ulimit是什么鬼

其实ulimit的讲解不属于C或者C++ 语言范畴,他只是在我们日常开发或者线上linux运行环境不可缺少的工具。 比如我们要查看服务器崩溃的core文件,允许core文件产生,都需要ulimit -c命令调整。 比如我们设置的当前运行环境的栈空间过小,容易产生栈溢出,那么我们…

C语言: ---gdb查看内存和寄存器内容

gdb没有CodeWarrior强大,但是也提供了查看寄存器的命令:(gdb) info register r1r1 0xbffffb40 3221224256(gdb) info registersr0 0x1000052c 268436780r1 0xbffffb40 3221224256r2 0x48026ea0 1208118944r3 …

leetcode52. N皇后 II 最强解法直接秒杀100%

n 皇后问题研究的是如何将 n 个皇后放置在 nn 的棋盘上&#xff0c;并且使皇后彼此之间不能相互攻击。 上图为 8 皇后问题的一种解法。 给定一个整数 n&#xff0c;返回 n 皇后不同的解决方案的数量。 示例: 输入: 4 输出: 2 解释: 4 皇后问题存在如下两个不同的解法。 [ […

C语言:---gdb多线程调试

1)恢复程序运行和单步调试 当程序被停住了,你可以用continue命令恢复程序的运行直到程序结束,或下一个断点到来。也可以使用step或next命令单步跟踪程序。 continue [ignore-count] c [ignore-count] fg [ignore-count] 恢复程序运行,直到程序结束,或是下一个断点到来。ig…

leetcode145. 二叉树的后序遍历 意想不到的骚操作

给定一个二叉树&#xff0c;返回它的 后序 遍历。 示例: 输入: [1,null,2,3] 1 \ 2 / 3 输出: [3,2,1] 进阶: 递归算法很简单&#xff0c;你可以通过迭代算法完成吗&#xff1f; 思路&#xff1a;前序遍历左右交换&#xff0c;然后倒序输出 原因&am…

C++:29 --- C++继承关系下的内存布局(下)

1 单继承 C++ 提供继承的目的是在不同的类型之间提取共性。比如,科学家对物种进行分类,从而有种、属、纲等说法。有了这种层次结构,我们才可能将某些具备特定性质的东西归入到最合适的分类层次上,如“怀孩子的是哺乳动物”。由于这些属性可以被子类继承,所以,我们只要知道…

C++:30 ---C++类成员,成员函数的内存布局

前面两篇文章我相信大家反复读了之后对这节不陌生了: 首先来看代码: class Demo { public://静态成员变量static const int sx = 0;//静态函数static void SF1() {} public://成员变量int x; public://成员函数void F1() {cout << "Im from Demo::F1()" <…

leetcode119. 杨辉三角 II 你能比我代码更短吗?

给定一个非负索引 k&#xff0c;其中 k ≤ 33&#xff0c;返回杨辉三角的第 k 行。 示例: 输入: 3 输出: [1,3,3,1]按照定义写即可。 class Solution:def getRow(self, rowIndex: int) -> List[int]:l[1]for i in range(rowIndex):l[1][l[j]l[j1] for j in range(len(l)-1…

C++:28 --- C++内存布局(上)

了解你所使用的编程语言究竟是如何实现的,对于C++程序员可能特别有意义。 首先,我们顺次考察C兼容的结构(struct)的布局,单继承,多重继承,以及虚继承;接着,我们讲成员变量和成员函数的访问,当然,这里面包含虚函数的情况;再接下来,我们考察构造函数,析构函数,以…

leetcode114. 二叉树展开为链表

给定一个二叉树&#xff0c;原地将它展开为链表。 例如&#xff0c;给定二叉树 1 / \ 2 5 / \ \ 3 4 6 将其展开为&#xff1a; 1 \ 2 \ 3 \ 4 \ 5 \ 6 思路&#xff1a;所有左子树的最右节点接上右子…

C++:26---动态内存管理new、delete

实在不好意思,到这里才给大家分享new和delete。 对于非内部数据类型的对象而言,光用malloc/free无法满足动态对象的要求。对象在创建的同时要自动执行构造函数,对象在消亡之前要自动执行析构函数。 由于malloc/free是库函数而不是运算符,不在编译器控制权限…

使用Log4j为项目配置日志输出应用详细总结及示例演示.

Log4j组件构成 Log4j由三个重要的组件构成&#xff1a; 1.日志信息的优先级(Logger) 2.日志信息的输出目的地(Appender) 3.日志信息的输出格式(Layout)。 概要: 日志信息的优先级从高到低有ERROR、WARN、INFO、DEBUG&#xff0c;分别用来指定这条日志信息的重要程度&…

C++:27---new delete malloc free

上一节我讲了new和delete,有人问这不是和C语言的malloc/free为C的标准库函数差不多么 void* malloc(size_t size)//参数代表字节个数 void free(void* pointer)//参数代表内存地址new、delete则为C++的操作运算符,它调用的分别为赋值运算符重载operator new()和operator del…

C++:33---类成员指针

成员指针概述: 当初始化一个这样的指针时,我们令其指向类的某个成员,但是不指定该成员所属的对象直到使用成员指针时,才提供成员所属的对象成员指针是指可以指向类的非静态成员的指针一般情况下,指针指向一个对象,但是成员指针指向的是类的成员,而不是类的所创建出的对象…

C++:31---对象引用和赋值

一、对象移动概述 C++11标准引入了“对象移动”的概念对象移动的特性是:可以移动而非拷贝对象在C++旧标准中,没有直接的方法移动对象。因此会有很多不必要的资源拷贝标准库容器、string、share_ptr类既支持移动也支持拷贝。IO类和unique_ptr类可以移动但不能拷贝对象移动的特…

C++:34---union:联合/共用体,一种节省空间的类

一、联合(union)概述 联合(union)是一种特殊的类一个union可以有多个数据成员,但是在任意时刻只有一个数据成员可以有值。当我们给union的某个成员赋值之后,该union的其它成员就变成未定义的状态了。分配给一个union对象的存储空间至少要能容纳它的最大的数据成员类的某些…