MySql开源闪回工具MyFlash —— 筑梦之路

github官网:https://github.com/Meituan-Dianping/MyFlash

简介

MyFlash是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具。该工具通过解析v4版本的binlog,完成回滚操作。相对已有的回滚工具,其增加了更多的过滤选项,让回滚更加容易。

前提条件

开启binlog,binlog格式必须为ROW,且binlog_row_image必须为full。

适用于MySQL5.6、5.7,MySQL8.0测试也可以正常使用。

编译安装

unzip MyFlash-master.zip
cd MyFlash-masteryum install glib2-devel -y# 动态编译
gcc -w `pkg-config --cflags --libs glib-2.0` source/binlogParseGlib.c -o binary/flashback

 如何使用

cd binary./flashback --helpUsage:flashback [OPTION...]Help Options:-?, --help                  Show help optionsApplication Options:--databaseNames             databaseName to apply. if multiple, seperate by comma(,)--tableNames                tableName to apply. if multiple, seperate by comma(,)--start-position            start position--stop-position             stop position--start-datetime            start time (format %Y-%m-%d %H:%M:%S)--stop-datetime             stop time (format %Y-%m-%d %H:%M:%S)--sqlTypes                  sql type to filter . support INSERT, UPDATE ,DELETE. if multiple, seperate by comma(,)--maxSplitSize              max file size after split, the uint is M--binlogFileNames           binlog files to process. if multiple, seperate by comma(,)--outBinlogFileNameBase     output binlog file name base--logLevel                  log level, available option is debug,warning,error--include-gtids             gtids to process--exclude-gtids             gtids to skip--------------------------------参数使用说明:
databaseNames
指定需要回滚的数据库名。多个数据库可以用“,”隔开。如果不指定该参数,相当于指定了所有数据库。
tableNames
指定需要回滚的表名。多个表可以用“,”隔开。如果不指定该参数,相当于指定了所有表。
start-position
指定回滚开始的位置。如不指定,从文件的开始处回滚。请指定正确的有效的位置,否则无法回滚。
stop-position
指定回滚结束的位置。如不指定,回滚到文件结尾。请指定正确的有效的位置,否则无法回滚。
start-datetime
指定回滚的开始时间。注意格式必须是 %Y-%m-%d %H:%M:%S。如不指定,则不限定时间。
stop-datetime
指定回滚的结束时间。注意格式必须是 %Y-%m-%d %H:%M:%S。如不指定,则不限定时间。
sqlTypes
指定需回滚的sql类型。目前支持的过滤类型是INSERT, UPDATE ,DELETE。多个类型可以用“,”隔开。
maxSplitSize
一旦指定该参数,对文件进行固定尺寸的分割(单位为M),过滤条件有效,但不进行回滚操作。该参数主要用来将大的binlog文件切割,防止单次应用的binlog尺寸过大,对线上造成压力。
binlogFileNames
指定需要回滚的binlog文件,目前只支持单个文件,后续会增加多个文件支持。经测试已支持多个binlog文件。
outBinlogFileNameBase
指定输出的binlog文件前缀,如不指定,则默认为binlog_output_base.flashback。
logLevel
仅供开发者使用,默认级别为error级别。在生产环境中不要修改这个级别,否则输出过多。
include-gtids
指定需要回滚的gtid,支持gtid的单个和范围两种形式。
exclude-gtids
指定不需要回滚的gtid,用法同include-gtids。

 测试验证

环境说明:mysql 8.0

1. 启用新的binlog文件,并模拟删除数据

mysql> select * from test1;
+----+----------+
| id | name |
+----+----------+
|  1 | zhangsan |
| 2 | back |
|  3 | liba |
+----+----------+
3 rows in set (0.03 sec)mysql> flush logs;
Query OK, 0 rows affected (0.22 sec)mysql> delete from test1 where id =3;
Query OK, 1 row affected (0.01 sec)mysql> select * from test1;
+----+----------+
| id | name |
+----+----------+
|  1 | zhangsan |
| 2 | back |
+----+----------+
2 rows in set (0.00 sec)

2. 通过MyFlash解析闪回文件并执行

./flashback --databaseNames=testdb --tableNames=test1 --start-datetime='2024-05-10 15:00:00' --stop-datetime='2024-05-10 16:00:00' --binlogFileNames=/home/my3306/log/mysql-bin.000210  --outBinlogFileNameBase=test1backmysqlbinlog -vv --skip-gtids test1back.flashback |mysql -uroot -p'xxxxxx' -S /home/my3306/run/mysql.sock
mysql: [Warning] Using a password on the command line interface can be insecure.

3. 检查验证

mysql> select * from test1;
+----+----------+
| id | name |
+----+----------+
|  1 | zhangsan |
| 2 | back |
|  3 | liba |
+----+----------+
3 rows in set (0.00 sec)

4. 测试恢复执行多个binlog文件

1)每次删除都启用新的binlog文件

mysql> select * from test1;
+----+----------+
| id | name |
+----+----------+
| 1 | zhangsan |
| 2 | back |
| 3 | liba |
+----+----------+
3 rows in set (0.00 sec)mysql> flush logs;
Query OK, 0 rows affected (0.02 sec)mysql> delete from test1 where id =1;
Query OK, 1 row affected (0.01 sec)mysql> flush logs;
Query OK, 0 rows affected (0.01 sec)mysql> delete from test1 where id =2;
Query OK, 1 row affected (0.00 sec)mysql> flush logs;
Query OK, 0 rows affected (0.02 sec)mysql> delete from test1 where id =3;
Query OK, 1 row affected (0.01 sec)mysql>
mysql> select * from test1;
Empty set (0.00 sec)

2)通过MyFlash解析多个binlog文件,并一块恢复

./flashback --databaseNames=testdb --tableNames=test1 --start-datetime='2023-08-02 15:00:00' --stop-datetime='2023-08-02 16:00:00' --binlogFileNames=/home/my3306/log/mysql-bin.000211,/home/my3306/log/mysql-bin.000212,/home/my3306/log/mysql-bin.000213  --outBinlogFileNameBase=test1backls
flashback test1back.flashback test1back.flashback.000001  test1back.flashback.000002mysqlbinlog -vv --skip-gtids test1back.flashback test1back.flashback.000001 test1back.flashback.000002 |mysql -uroot -p'xxxxxx' -S /home/my3306/run/mysql.sockmysql: [Warning] Using a password on the command line interface can be insecure.

 3)检查验证数据

mysql> select * from test1;
+----+----------+
| id | name |
+----+----------+
|  1 | zhangsan |
| 2 | back |
|  3 | liba |
+----+----------+
3 rows in set (0.00 sec)

与同类型工具binlog2sql比较

  • MyFlash工具需要结合mysqlbinlog解析确认需要恢复数据的精确位点,而binlog2sql可以解析为sql语句,更方便确认所需的回滚数据,方便易用。

  • binlog2sql可以生成回滚sql和未回滚sql,MyFlash只能生成回滚binlog,未回滚binlog结合mysqlbinlog解析生成。

  • binlog2sql需要python安装环境,自测mysql8使用过程中因为回滚数据不同,可能出现字符集相关的问题,MyFlash运行比较稳定。

  • 小数据量可以使用binlog2sql进行恢复,大量数据建议使用MyFlash,官方测试100万数据,MyFlash恢复用2.7秒,binlog2sql用581.3秒。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/10017.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在装有centOS7的虚拟机上进行MySQL的安装部署

1.MySQL数据库介绍 1.开源的,跨平台的,社区版免费 2.支持多种存储引擎 3.支持多种主从复制 MySQL版本:5.6 5.7 8.0 https://www.mysql.com MySQL官网 2.安装MySQL5.7 1.配置MySQL仓库 2.安装MySQL服务端软件 3.启动MySQL服务 s…

LeetCode 题目 117:填充每个节点的下一个右侧节点指针 II

作者介绍:10年大厂数据\经营分析经验,现任字节跳动数据部门负责人。 会一些的技术:数据分析、算法、SQL、大数据相关、python,欢迎探讨交流 欢迎加入社区:码上找工作 作者专栏每日更新: LeetCode解锁1000题…

7-Zip介绍:一个强大的开源压缩工具

介绍 7-Zip 是一个开源的文件压缩和解压缩工具,具有高压缩比和快速解压的特点。它支持多种压缩格式,包括 7z、ZIP、RAR、GZIP、TAR 等,是一个功能丰富、易于使用的压缩工具。本文将介绍7-Zip的特点、优缺点以及其在实际应用中的作用。 特点…

3. 多层感知机算法和异或门的 Python 实现

前面介绍过感知机算法和一些简单的 Python 实践,这些都是单层实现,感知机还可以通过叠加层来构建多层感知机。 2. 感知机算法和简单 Python 实现-CSDN博客 1. 多层感知机介绍 单层感知机只能表示线性空间,多层感知机就可以表示非线性空间。…

Ubuntu20.04 设置路由器

1. 网络拓扑图 2. 查看网卡信息 ip a得出如下网卡信息&#xff0c;enp1s0和enp2s0为两个网卡名称&#xff0c;以及相关两个网卡的详细信息&#xff0c;不同设备的网卡名称可能不一样 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group defaul…

使用python获取一下microsoft的搜索积分

主要使用的库是pyautogui PyAutoGUI接管了鼠标、键盘使用权,基本上完全照搬人的操作; 主要步骤如下: 登录edge浏览器打开搜索页面 找到搜索框的位置坐标使用pyautogui模拟点击搜索框模拟输入搜索文字模拟点击键盘enter键重复以上动作伪代码如下: import pyautogui import ti…

图像处理中的方向梯度直方图纹理特征提取方法

方向梯度直方图&#xff08;Histogram of Oriented Gradients&#xff0c;HOG&#xff09;是一种常用的用于图像纹理特征提取的方法。HOG算法通过计算图像中各个局部区域的梯度方向和强度&#xff0c;然后构建一个直方图来描述图像的纹理特征。 以下是使用方向梯度直方图进行纹…

WM Transaction Code 仓库管理模块事务代码大全

1.1 LE-WM 仓库管理 Warehouse Management 仓库管理事务码 描述 LB01 Create Transfer Requirement 创建转储需求 LB02 Change transfer requirement 修改转储需求 LB03 Display Transfer Requirement 显示转储需求 LB10 TRs for Storage Type 按仓储类型的转储请求 …

推荐4个可用的github国内镜像

Github是全球最大的代码托管云平台&#xff0c;超过1亿用户在平台上分享代码及数据&#xff0c;深受生物信息学软件开发者的喜爱&#xff0c;并且现在发表文章&#xff0c;若涉及到代码&#xff0c;编辑还要求我们把代码及数据存放在github上&#xff0c;以便检查数据的真实性和…

商务通设置对话永远在迷你小窗口对话

系统设置--参数设置--PC对话窗口--迷你对话窗口-- 点击浮动图标或接受邀请时在当前页面弹出迷你对话窗口

frida hook java

代码例子 原函数&#xff1a; hook函数&#xff1a; if(Java.available){Java.perform(function(){var a Java.use("com.sankuai.waimai.foundation.utils.security.a");a.a.overload("java.lang.String","java.lang.String","long"…

Angular进阶:深入理解RxJS在Angular应用中的高效运用

RxJS&#xff08;Reactive Extensions for JavaScript&#xff09;是JavaScript的一个响应式编程库&#xff0c;特别适用于处理异步数据流。 在Angular应用中&#xff0c;RxJS的高效运用主要体现在&#xff1a; 异步操作处理 RxJS的核心优势在于处理异步操作&#xff0c;如H…

【论文合集1】- 存内计算加速机器学习

本章节论文合集&#xff0c;存内计算已经成为继冯.诺伊曼传统架构后&#xff0c;对机器学习推理加速的有效解决方案&#xff0c;四篇论文从存内计算用于机器学习&#xff0c;模拟存内计算&#xff0c;对CNN/Transformer架构加速角度阐述存内计算。 【1】WWW: What, When, Where…

maven 配置(远程仓库管理)

maven 配置 如何上传至远程仓库单一项目(需配置pom.xml与setting.xml)全局(显式激活) profile (可实现: 单一项目配置、单一用户配置、全局配置)如何使用profile 公司因为jar包管理混乱(本地缺这个缺那个的)&#xff0c;因此建了一个私库。但是仍然很混乱&#xff0c;因为maven…

Java自定义注解:从定义到解析,再到AOP切面与日志打印应用

目录 一、注解定义二、注解解析三、自定义注解结合AOP切面四、自定义注解用于日志打印五、区别总结六、应用场景总结 在Java开发中&#xff0c;注解是一种强大的元编程工具&#xff0c;它可以帮助我们提升代码的可读性和功能性。本文将深入探讨如何创建和使用自定义注解&#x…

Java JVM 浅析

为什么要有JVMJVM是什么&#xff1f;JVM的工作流程和组成部分JVM规范和JVM实现JVM原理详解 带着以上问题&#xff0c;我将尝试对JVM作出一些简单的介绍。 一、JVM 简介 在90年代初&#xff0c;软件开发面临一个大问题&#xff0c;即不同的操作系统和硬件架构要求开发不同的版本…

Acrobat Pro DC 2023 for Mac:PDF处理的终极解决方案

Acrobat Pro DC 2023 for Mac为Mac用户提供了PDF处理的终极解决方案。它具备强大的文档处理能力&#xff0c;无论是查看、编辑还是创建PDF文件&#xff0c;都能轻松胜任。在编辑功能方面&#xff0c;Acrobat Pro DC 2023支持对文本、图像进行精准的修改和调整&#xff0c;还能添…

从RAID 0到RAID 10:全面解析RAID技术与应用

&#x1f407;明明跟你说过&#xff1a;个人主页 &#x1f3c5;个人专栏&#xff1a;《Linux &#xff1a;从菜鸟到飞鸟的逆袭》&#x1f3c5; &#x1f516;行路有良友&#xff0c;便是天堂&#x1f516; 目录 一、前言 1、磁盘阵列简介 2、磁盘阵列诞生背景 3、硬件RA…

联邦学习框架VeryFL

一、介绍 VeryFL(Variable-Fidelity Learning)是一种联邦学习框架。联邦学习是一种分布式机器学习方法,其中许多参与者(例如移动设备或边缘设备)共同训练一个全局模型,而不需要将他们的数据上传到中央服务器。与传统的集中式方法相比,联邦学习具有更高的隐私性和安全性…

正点原子[第二期]Linux之ARM(MX6U)裸机篇学习笔记-14-主频和时钟配置

前言&#xff1a; 本文是根据哔哩哔哩网站上“正点原子[第二期]Linux之ARM&#xff08;MX6U&#xff09;裸机篇”视频的学习笔记&#xff0c;在这里会记录下正点原子 I.MX6ULL 开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了正点原子教学视频和链接中的内容。…