【细如狗】记录一次使用MySQL的Binlog进行数据回滚的完整流程

文章目录

  • 1 事情起因
  • 2 解决思路
  • 3 利用binlog进行数据回滚
    • 3.1 确认是否启用Binlog日志
    • 3.2 确认是否有binlog文件
    • 3.3 找到误操作的时间范围
    • 3.4 登录MySQL服务器查找binlog文件
      • 3.4.1 查询binlog文件路径
      • 3.4.2 找到binlog文件
      • 3.4.3 确认误操作被存储在哪一份binlog文件中
    • 3.5 查看二进制日志文件内容
      • 3.5.1 利用被更新的表名筛选出大概的时间点
      • 3.5.2 对每个时间点进行查询,找出误操作的具体时间和记录
      • 3.5.3 找到误操作的记录
    • 3.6 保存误操作的记录日志
    • 3.7 分析记录,得出需要逆向解析SQL的思路
    • 3.8 编写脚本解析记录,得到SQL
    • 3.9 执行SQL语句,实现回滚
  • 4 最后

1 事情起因

在最近的一次开发过程中,由于错将eq写成了set,导致全表数据被修改(还好是测试环境😅)
在这里插入图片描述

在这里插入图片描述

2 解决思路

利用MySQL的binlog进行数据回滚

  • 利用binlog文件查询到修改的那一条记录
  • 对记录进行反向解析,获取被修改前数据的Update语句
  • 执行解析后的Update语句,恢复数据

3 利用binlog进行数据回滚

3.1 确认是否启用Binlog日志

SHOW VARIABLES LIKE 'log_bin';

在这里插入图片描述

3.2 确认是否有binlog文件

SHOW BINARY LOGS;

在这里插入图片描述

3.3 找到误操作的时间范围

这一步仅仅是为了缩小排查区间

可以通过对应服务的日志查询出大概的误操作时间范围

3.4 登录MySQL服务器查找binlog文件

3.4.1 查询binlog文件路径

  • 打开MySQL配置文件(通常是/etc/my.cnf或/etc/mysql/my.cnf)

    • 找到与这个相似的配置(binlog存储路径):log-bin=/var/lib/mysql/mysql-bin
    • 在这里插入图片描述
  • 如果找不到上述配置,采用另外一种思路获取binlog文件路径,查询日志文件名或索引文件名,能带出binlog的存储路径

    • -- 用于查看 MySQL 服务器的二进制日志文件的基本文件名。
      SHOW VARIABLES LIKE 'log_bin_basename';
      
    • 在这里插入图片描述

    • -- 用于查看 MySQL 服务器的二进制日志索引文件的名称。
      SHOW VARIABLES LIKE 'log_bin_index'; 
      
    • 在这里插入图片描述

    • 从获取到的结果来看,可以得出binlog是存在于/usr/local/src/mysql/data目录下的

3.4.2 找到binlog文件

在这里插入图片描述

3.4.3 确认误操作被存储在哪一份binlog文件中

我在执行误操作时大概是7月16日的14:30左右,所以应该查看的二进制日志文件是binlog.000034

3.5 查看二进制日志文件内容

3.5.1 利用被更新的表名筛选出大概的时间点

mysqlbinlog --no-defaults --start-datetime="2024-07-16 14:00:00" --stop-datetime="2024-07-16 15:00:00" binlog.000034 | grep -i 'item_code_distributor_rel'

在这里插入图片描述

3.5.2 对每个时间点进行查询,找出误操作的具体时间和记录

mysqlbinlog --no-defaults --start-datetime="2024-07-16 14:50:27" --stop-datetime="2024-07-16 14:50:28" --base64-output=DECODE-ROWS --verbose binlog.000034 | less

这块需要能够对业务了解,大概知道哪些数据被更新为了什么,被更新了多少条

这样就能够定位到binlog中具体的那条记录了

--base64-output=DECODE-ROWS --verbose 
字段命令的作用是base64解码:是因为binlog是Base64 编码的二进制数据,需要解码

3.5.3 找到误操作的记录

更新了多少行数据,这里就会有多少个UPDATE语句
在这里插入图片描述

这个操作记录中SET是被更新的数据,WHERE是原本的数据

3.6 保存误操作的记录日志

mysqlbinlog --no-defaults --start-datetime="2024-07-16 14:50:27" --stop-datetime="2024-07-16 14:50:28" --base64-output=DECODE-ROWS --verbose binlog.000034 > cjh_get_parsed_binlog_2024-07-16-17-05.sql

3.7 分析记录,得出需要逆向解析SQL的思路

需要结合业务来看,哪些字段的数据被误更新了,以及3.5.3的图片为例

  • 我将全表数据的 @4@16都进行了错误更新

  • 所以仅需要以主键ID(@1)作为条件,将旧数据(WHERE中)的@4@16重新SET回去即可

  • 结合日志记录,获取期望的更新语句样例为:

    • UPDATE 数据库.表名 SET @4的字段名 = @4,@16的字段名 = @16 WHERE @1的字段名 = @1;
      

3.8 编写脚本解析记录,得到SQL

package pers.chenjiahao.util;import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;/*** @author ChenJiahao(五条)* @date 2024/7/16 17:36*/
public class MySQLBinaryLogParser {public static void main(String[] args) {String filePath = "D:\\工作文件\\技术文档\\cjh_get_parsed_binlog_2024-07-16-17-05.sql";String document = readFileContent(filePath);List<String> updateStatements = parseDocument(document);for (String statement : updateStatements) {System.out.println(statement);}}/*** 读取文本内容*/private static String readFileContent(String filePath) {StringBuilder content = new StringBuilder();try (BufferedReader reader = new BufferedReader(new FileReader(new File(filePath)))) {String line;while ((line = reader.readLine()) != null) {content.append(line).append("\n");}} catch (IOException e) {e.printStackTrace();}return content.toString();}/*** 解析文本内容*/private static List<String> parseDocument(String document) {List<String> updateStatements = new ArrayList<>();// 每个"### UPDATE "是一条更新语句String[] sections = document.split("### UPDATE ");for (int i = 1; i < sections.length; i++) {String section = sections[i];String[] lines = section.split("\n");// 待拼接的WHERE条件String whereClause = "";// 待拼接的SETStringBuilder sb = new StringBuilder();for (String line : lines) {if (line.startsWith("###   @1=")) {whereClause = "id = " + line.split("=")[1];}else if (line.startsWith("###   @4=")) {sb.append("item_code = " + line.split("=")[1]);}else if (line.startsWith("###   @16=")) {sb.append(",order_channel_id = " + line.split("=")[1]);}// 不需要读取日志文件中SET的内容,跳过即可if (line.startsWith("### SET")){break;}}// 拼接SQLString updateStatement = "UPDATE hm_product.item_code_distributor_rel " + "SET " + sb + " WHERE " + whereClause + ";";updateStatements.add(updateStatement);}return updateStatements;}
}

3.9 执行SQL语句,实现回滚

UPDATE hm_product.item_code_distributor_rel SET item_code = 'Ot2djSzc8e',order_channel_id = NULL WHERE id = 1;
..........省略N多条.......

4 最后

这次事情的起因也是因为一次编写代码的粗心造成的,虽然造成的影响不太好,但是解决问题的过程也挺有趣的。

如果还有别的好方案的话,欢迎在评论区分享。

欢迎大家收藏,但是最好别用到。

感谢大家看到这里,文章如有不足,欢迎大家指出;彦祖点个赞吧彦祖点个赞吧彦祖点个赞吧,欢迎关注程序员五条!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/47545.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

用杰理芯片发不出100hz~1200hz频率的PWM波

思路&#xff1a; 问原厂工程师 回复&#xff1a; 看下是不是数据做除法的时候越界了&#xff0c;如果有用户手册&#xff0c;直接看下那几个定时器的寄存器算下就知道为什么 芯片&#xff1a; AD155A 行动&#xff1a; 相关文档和代码&#xff1a; TMR_PR&#xff1a;1…

打卡WAIC 2024!中兴的AI科技好牛

前几天去现场参观了2024世界人工智能大会展览&#xff08;WAIC 2024&#xff09;&#xff0c;突然感受到AI浪潮真的是在正在汹涌而来&#xff0c;大会上聚集了全球各种大型科技企业&#xff0c;“黑科技”一个接一个。中兴作为咱们中国企业&#xff0c;在这场大会上也很争气&am…

MySQL双主双从实现方式

双主双从&#xff08;MM-SS&#xff09; 前言 避免单一主服务器宕机&#xff0c;集群写入能力缺失 从 1 复制 主1 &#xff0c;从 2 复制 主 2 主 1 复制 主 2&#xff0c;主 2 复制主 1 也就是 主 1 和主 2 互为主从。主1主2互为主从&#xff0c; 是为了以下情景&#xff0c…

git使用以及理解

git练习网站 Learn Git Branching git操作大全Oh Shit, Git!?! git commit git branch name git merge bugFix 合并俩个分支 git rebase main git checkout headgit switch head 会导致HEAD分离 &#xff0c;就是指head->HEAD->c1 相对引用 ------------------- …

vue使用audio 音频实现播放与关闭(可用于收到消息给提示音效)

这次项目中因为对接了即时通讯 IM&#xff0c;有个需求就是收到消息需要有个提示音效&#xff0c;所以这里就想到了用HTML5 提供的Audio 标签&#xff0c;用起来也是很方便&#xff0c;首先让产品给你个提示音效&#xff0c;然后你放在项目中&#xff0c;使用Audio 标签&#x…

卡片式组件封装demo

效果视频&#xff1a; 卡片组件 样式还得细调~&#xff0c;时间有限&#xff0c;主要记录一下逻辑。 html结构&#xff1a; 目录 父组件数据处理数据格式 父组件的全部代码 子组件数据处理props参数 样式部分三个圆点点击三圆点在对应位置显示查看弹框点击非内容部分隐藏查看…

PHP连接MySQL数据库

PHP本身不具备操作MySQL数据库的能力&#xff0c;需要借助MySQL扩展来实现。 1、PHP加载MySQL扩展&#xff1a;php.ini文件中。&#xff08;不要用记事本打开&#xff09; 2、PHP中所有扩展都是在ext的文件夹中&#xff0c;需要指定扩展所在路径&#xff1a;extension_dir。 3、…

Mysql的语句执行很慢,如何分析排查?

1、检查服务器性能是否存在瓶颈 如果系统资源使用率比较高&#xff0c;比如CPU,硬盘&#xff0c;那访问肯定会慢&#xff0c;如果你发现是Mysl占比比较高&#xff0c;说明Mysql的读写频率高&#xff0c;如果本身网站访问量不大&#xff0c;说明你的sql参数&#xff0c;sql语句查…

【STC89C51单片机】串口通信

【STC89C51单片机】串口通信 串口简介1. 串口接线方式2. 通信过程 相关寄存器1. SBUF&#xff08;Serial Buffer Register&#xff09;2. SCON&#xff08;Serial Control Register&#xff09;3. PCON&#xff08;Power Control Register&#xff09;4. TCON&#xff08;Timer…

记录些Redis题集(4)

Redis 通讯协议(RESP) Redis 通讯协议&#xff08;Redis Serialization Protocol&#xff0c;RESP&#xff09;是 Redis 服务端与客户端之间进行通信的协议。它是一种二进制安全的文本协议&#xff0c;设计简洁且易于实现。RESP 主要用于支持客户端和服务器之间的请求响应交互…

第 8 章 虚拟文件系统(2)

目录 8.3 VFS结构 8.3.1 结构概观 8.3.2 inode 本专栏文章将有70篇左右&#xff0c;欢迎关注&#xff0c;查看后续文章。 8.3 VFS结构 8.3.1 结构概观 VFS组成部分&#xff1a; 1. 文件。 2. 文件系统。 1. 文件的表示 inode&#xff1a;包含文件信息及数据存储位置。 上…

001、Mac系统上Stable Diffusion WebUI环境搭建

一、目标 如标题所述&#xff0c;在苹果电脑&#xff08;Mac&#xff09;上搭建一套Stable Diffusion本地服务&#xff0c;以实现本地AI生图目的。 二、安装步骤 1、准备源码【等价于准备软件】 # 安装一系列工具库&#xff0c;包括cmake,protobuf,rust,python3.10,git,wge…

Nginx、LNMP万字详解

目录 Nginx 特点 Nginx安装 添加Nginx服务 Nginx配置文件 全局配置 HTTP配置 状态统计页面 Nginx访问控制 授权用户 授权IP 虚拟主机 基于域名 测试 基于IP 测试 基于端口 测试 LNAMP 解析方式 LNMP转发php-fpm解析 Nginx代理LAMP解析 LNMP部署示例 实…

linux之mysql安装和使用

数据库之Mysql 一、数据库介绍 1、什么是数据库 数据库就是一个存放计算机数据的仓库,这个仓库是按照一定的数据结构(数据结构是指数据的组织形式或数据之间的联系)来对数据进行组织和存储的,可以通过数据库提供的多种方法来管理其中的数据。 2、数据库的种类 最常用的…

微分段Microsegmentation简介

目录 微分段Microsegmentation简介什么是微分段&#xff1f;微分段的防范措施微分段的防护层级 基于网络的微分段微分段基本工作机制微分段的角色VxLAN的额外字段 业务链分组与传输策略场景1&#xff1a;三层报文本地转发场景场景2&#xff1a;三层报文跨设备转发场景 微分段的…

中国贸易外经统计年鉴(2006-2023年)

数据年限&#xff1a;2006-2023年全 数据格式&#xff1a;pdf、excel、caj 数据内容&#xff1a;《中国贸易外经统计年鉴》是一部反映中国国内贸易、对外经济贸易和旅游业发展情况的资料性年刊。收录了 中国国内消费品市场、批发和零售业、住宿和餐饮业、国际收支、对外贸易、利…

具有I2S输出的多模数字麦克风ICS-43434咪头LR引脚接地或电源WS接LRCLK

外观和丝印 ICS-43434麦克风3.50 mm x 2.65 mm&#xff0c;丝印为434&#xff08;图片不好拍&#xff0c;隐约可见434&#xff09; 一般描述 ICS-43434 是一款数字 IS 输出底部收音孔麦克风。完整的 ICS-43434 解决方案包括 MEMS 传感器、信号调理、模数转换器、抽取和抗混叠滤…

在mybatis-plus中关于@insert注解自定义批处理sql导致其雪花算法失效而无法自动生成id的解决方法

受到这位作者的启发 > 原文在点这里 为了自己实现批量插入&#xff0c;我在mapper层使用insert注解写了一段自定义sql //自定义的批量插入方法 Insert("<script>" "insert into rpt_material_hour(id,sample_time,rounding_time,cur_month,machine_no…

Elasticsearch 批量更新

Elasticsearch 批量更新 准备条件查询数据批量更新 准备条件 以下查询操作都基于索引crm_flow_info来操作&#xff0c;索引已经建过了&#xff0c;本文主要讲Elasticsearch批量更新指定字段语句&#xff0c;下面开始写更新语句执行更新啦&#xff01; 查询数据 查询指定shif…

视频号矩阵系统,AI自动生成文案,实现批量上传视频和定时发布

在数字化浪潮席卷全球的今天&#xff0c;视频内容已成为信息传播的重要载体。然而&#xff0c;对于众多自媒体创作者和企业而言&#xff0c;如何高效、精准地发布视频内容&#xff0c;依然是一个不小的挑战。幸运的是&#xff0c;随着技术的不断进步&#xff0c;视频号矩阵系统…