MySQL找回误删的数据,数据恢复

原创作品,未经同意,请勿转载;允许复制链接,对原文直接进行转发。

原创作者玉龙有着十几年大厂软件开发工作经验, 目前自由职业, 欢迎业务洽谈。

误删了几十万条MySQL记录, 要如何找回物理删除的数据呢?  查阅各种资料, 被误导做了些无效尝试, 现把成功经验和失败经验总结如下。

原理是通过mysqlbinlog 命令, 提取对应的删除事件的SQL语句,并重新写入数据库;基本步骤

1、 找到binlog文件; 2、 通过binlog生成,回滚删除的SQL文件;3、 执行SQL文件

  show variables like '%log_bin%';show master logs;

如上SQL找到binlog地址。

一、 失败尝试

sudo mysqlbinlog --start-position=123 --stop-position=789 /usr/local/mysql/data/binlog.000064 | mysql -uroot -p -v test1

这个尝试是把mysqlbinlog提取出来的BINLOG base64编码直接写入mysql 数据库;  原理性有错误, 直接写入是再次尝试删除一遍;  就是把binlog中记录的events回放一遍, 而不是逆向回滚一遍。

预计会遇到错误

ERROR 1032 (HY000) at line 8299: Can’t find record in ‘table_name’

意思是要删除的数据不存在, 因为已经早就删除了嘛;再直白的回放一次binlog自然不会起作用;

二、  成功尝试

需要对binlog生成的SQL 进行文本处理, 把DELETE 语句编程INSERT语句; 处理步骤和脚本如下:

1) 生成binlog SQL

sudo mysqlbinlog --start-datetime="2023-10-03 17:59:10" --stop-datetime="2023-10-03 17:59:13" -v --base64-output=decode-rows  /usr/local/mysql/data/binlog.000064>~/eventsb64.sql

通过日志,先缩小时间范围, 明确要挖掘的删除SQL的时间段, 注意边界情况,开始时间减去一秒,结束时间加上一秒;

生成好的binlog SQL有效部分截取如下

### DELETE FROM `autowater`.`capital_flow_min`
### WHERE
###   @1='00511.HK'
###   @2=202303311453
###   @3=-4605382
###   @4=0
###   @5=-1368498
###   @6=-2885925
###   @7=-798230
###   @8=447271
### DELETE FROM `autowater`.`capital_flow_min`
### WHERE
###   @1='00511.HK'
###   @2=202303311454
###   @3=-4605382
###   @4=0
###   @5=-1368498
###   @6=-2885925
###   @7=-798230
###   @8=447271
### DELETE FROM `autowater`.`capital_flow_min`

2) 通过脚本预处理SQL, 使得分段明确, 如下脚本另存为 prepare.awk

BEGIN{while(1){if(getline<=0){printf "#END\n";break;};if($0 ~/DELETE FROM/){printf "#END\n";};if($0 ~/^### Extra row/){printf "#END\n";};printf $0"\n";};printf "\n";
};

这样每段DELETE SQL就有了一个统一的终止符#END, 方便后续处理

### Extra row info for partitioning: partition: 135.  

这个分割部分是一些和分区相关的标记, 再他前面也是加上终止符;

执行脚本,对第一步生成的binlog SQL 完成预处理

awk -f prepare.awk eventsb64.sql > events66.sql 

3)  把DELETE SQL转变为INSERT SQL, 经过测试INSERT 语句是不需要填写字段名称的, 直接在VALUE里填写字段值, 这样下面这段脚本还是很通用的, 把如下awk脚本保存为replace.awk

/DELETE FROM/{while(1){gsub("### DELETE FROM","INSERT INTO",$0);gsub("### WHERE"," VALUES (",$0);gsub("###   @1="," ",$0);gsub("###   \@.*\=",",",$0);gsub(" \\(.*\\)","",$0);printf $0;getline;if($0 !~/^###/){printf ");\n";break;};}
}

gsub 是正则替换, 需要替换什么,各位客官自己完成; 

 gsub(" \\(.*\\)","",$0);   是我这里特有业务里的情况, 有很多Long类型的数据后面带了个(长串数字),需要删除; 大家视情况, 是否要删除;

执行该脚本, 即可获得INSERT SQL

awk -f replace.awk events66.sql > recovery.sql   

到这里就获得了完整的回滚SQL了, 但是里面可能还有一些杂质;

4) 提纯数据

依据业务关键字, 提取需要回滚的数据

grep "00511.HK" recovery.sql>00511.sql

5) 检查并执行修复SQL

打开SQL文件,人工检查一遍,

先登录进mysql 命令行,然后执行这些SQL

source ~/00511.sql

之后再检查一下修复的数据业务是否正常; 至此大功告成;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/94786.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我的第一个react.js 的router工程

react.js 开发的时候&#xff0c;都是针对一个页面的&#xff0c;多个页面就要用Router了&#xff0c;本文介绍我在vscode 下的第一个router 工程。 我在学习react.js 前端开发&#xff0c;学到router 路由的时候有点犯难了。经过1-2天的努力&#xff0c;终于完成了第一个工程…

使用Pytorch构建神经网络

构建神经网络的典型流程 定义一个拥有可学习参数的神经网络遍历训练数据集处理输入数据使其流经神经网络计算损失值将网络参数的梯度进行反向传播以一定的规则更新网络的权重 我们首先定义一个Pytorch实现的神经网络: # 导入若干工具包 import torch import torch.nn as nn …

亲,您的假期余额已经严重不足了......

引言 大家好&#xff0c;我是亿元程序员&#xff0c;一位有着8年游戏行业经验的主程。 转眼八天长假已经接近尾声了&#xff0c;今天来总结一下大家的假期&#xff0c;聊一聊假期关于学习的看法&#xff0c;并预估一下大家节后大家上班时的样子。 1.放假前一天 即将迎来八天…

基于Web安全的Python编程(1)

目录 一、http协议基础知识介绍 1、http协议分类 2、请求方法 3、什么是URL 4、请求头 5、响应状态码 二、常用Python库、函数、操作 三、http常用请求方法 1、不带参请求 2、带参数请求&#xff08;get和post存在细微区别&#xff09; 四、http响应属性获取 1、获取…

计算机网络(六):应用层

参考引用 计算机网络微课堂-湖科大教书匠计算机网络&#xff08;第7版&#xff09;-谢希仁 1. 应用层概述 应用层是计算机网络体系结构的最顶层&#xff0c;是设计和建立计算机网络的最终目的&#xff0c;也是计算机网络中发展最快的部分 早期基于文本的应用 (电子邮件、远程登…

【古谷彻】算法模板(更新ing···)

目录 一、数学 1、逆元 (一)费马小定理/欧拉定理(快速幂) 2、组合数 (1)求组合数C(n,m) 方法一:阶乘+逆元+快速幂求组合数 方法二:记忆化搜索 方法三:递推公式 (2)组合数求概率 3、高精度sqrt (1)二分法 (2)递加递减 4、快速幂 5、欧拉函数 方法一:…

分布式架构篇

1、微服务 微服务架构风格&#xff0c;就像是把一个单独的应用程序开发为一套小服务&#xff0c;每个服务运行在自己的进程中&#xff0c;并使用轻量级机制通信&#xff0c;通常是 HTTP API。这些服务围绕业务能力来构建&#xff0c;并通过完全自动化部署机制来独立部署。这些…

Spring 原理

它是一个全面的、企业应用开发一站式的解决方案&#xff0c;贯穿表现层、业务层、持久层。但是 Spring仍然可以和其他的框架无缝整合。 1 Spring 特点 轻量级控制反转面向切面容器框架集合 2 Spring 核心组件 3 Spring 常用模块 4 Spring 主要包 5 Spring 常用注解 bean…

第十七章:Java连接数据库jdbc(java和myql数据库连接)

1.进入命令行&#xff1a;输入cmd&#xff0c;以管理员身份运行 windowsr 2.登录mysql 3.创建库和表 4.使用Java命令查询数据库操作 添加包 导入包的快捷键 选择第四个 找到包的位置 导入成功 创建java项目 二&#xff1a;连接数据库&#xff1a; 第一步&#xff1a;注册驱动…

设计模式 - 策略模式

目录 一. 前言 二. 实现 一. 前言 策略模式 (Strategy Pattern) 是指对一系列的算法定义&#xff0c;并将每一个算法封装起来&#xff0c;而且使它们还可以相互替换。此模式让算法的变化独立于使用算法的客户。 与状态模式的比较 状态模式的类图和策略模式类似&#xff0c;并…

VUE3照本宣科——内置指令与自定义指令及插槽

VUE3照本宣科——内置指令与自定义指令及插槽 前言一、内置指令1.v-text2.v-html3.v-show4.v-if5.v-else6.v-else-if7.v-for8.v-on9.v-bind10.v-model11.v-slot12.v-pre13.v-once14.v-memo15.v-cloak 二、自定义指令三、插槽1.v-slot2.useSlots3.defineSlots() 前言 &#x1f…

Windows下启动freeRDP并自适应远端桌面大小

几个二进制文件 xfreerdp # Linux下的&#xff0c;an X11 Remote Desktop Protocol (RDP) client which is part of the FreeRDP project wfreerdp.exe # Windows下的&#xff0c;freerdp2.0 主程序&#xff0c;freerdp3.0将废弃 sdl-freerdp.exe # Windows下的&…

【AI视野·今日NLP 自然语言处理论文速览 第四十三期】Thu, 28 Sep 2023

AI视野今日CS.NLP 自然语言处理论文速览 Thu, 28 Sep 2023 Totally 38 papers &#x1f449;上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing Authors Brian Yan,…

STM32CubeMX学习笔记-USB接口使用(CDC虚拟串口)

STM32CubeMX学习笔记-USB接口使用&#xff08;CDC虚拟串口&#xff09; 一、USB简介二、新建工程1. 打开 STM32CubeMX 软件&#xff0c;点击“新建工程”2. 选择 MCU 和封装3. 配置时钟4. 配置调试模式 三、USB3.1 参数配置3.3 配置时钟3.4 USB Device 四、生成代码五、查看端口…

Java面试题异常相关

一、java中的异常继承体系及常见运行时异常 Throwable&#xff1a;类是所有异常或错误的超类&#xff0c;它有两个子类&#xff1a;Error和Exception&#xff0c;分别表示错误和异常。其中异常Exception分为运行时异常&#xff08;RuntimeException&#xff09;和编译时异常。 …

MySQL5.7版本与8.0版本在Ubuntu(WSL环境)系统安装

目录 前提条件 1. MySQL5.7版本在Ubuntu&#xff08;WSL环境&#xff09;系统安装 1. 1 下载apt仓库文件 1.2 配置apt仓库 1.3 更新apt仓库的信息 1.4 检查是否成功配置MySQL5.7的仓库 5. 安装MySQL5.7 1.6 启动MySQL 1.7 对MySQL进行初始化 1.7.1 输入密码 …

Lucene学习总结之Lucene的索引文件格式

当我们真正进入到Lucene源代码之中的时候&#xff0c;我们会发现: Lucene的索引过程&#xff0c;就是按照全文检索的基本过程&#xff0c;将倒排表写成此文件格式的过程。Lucene的搜索过程&#xff0c;就是按照此文件格式将索引进去的信息读出来&#xff0c;然后计算每篇文档打…

数据结构 2.1 线性表的定义和基本操作

数据结构三要素——逻辑结构、数据的运算、存储结构&#xff08;物理结构&#xff09; 线性表的逻辑结构 线性表是具有相同数据类型的n&#xff08;n>0&#xff09;个数据元素的有限序列&#xff0c;其中n为表长&#xff0c;当n0时&#xff0c;线性表是一个空表。 每个数…

单层神经网络

神经网络 人工神经网络&#xff08;Artificial Neural Network&#xff0c;ANN&#xff09;&#xff0c;简称神经网络&#xff08;Neural Network&#xff0c;NN&#xff09;&#xff0c;是一种模仿生物神经网络的结构和功能的数学模型或计算模型。1943年&#xff0c;McCulloc…

SpringMVC(二)@RequestMapping注解

我们先新建一个Module。 我们的依赖如下所示&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaL…