Linux - MySQL迁移至一主一从

Linux - MySQL迁移至一主一从

  • 迁移准备
    • 安装MySQL
  • ibd文件迁移
    • 原服务器操作
    • 目标服务器操作
  • 一主一从
  • 增量同步
  • 异常解决
  • 结尾

首先部分单独安装MySQL，请参考Linux - MySQL安装，迁移数据量比较大约400G左右且网络不通故使用文件迁移，需开启一段时间只读和锁表。

迁移准备

测试机作用
172.17.7.9原MySQL
10.3.69.6目标主库
10.3.69.7目标从库

原服务器与目标服务器不在同一局域网内而且无外网。

思路

先检测原MySQL健康的表进行记录，设置原MySQL为只读以及锁表，防止迁移过程中继续写入，记录时间点用作迁移后增量同步，导出所有表结构和ibd文件，解锁恢复读写，将表结构和ibd文件转至目标主库以及从库，都先进行恢复ibd文件，然后进行主从连接，使用binlog导出原MySQL时间点开始的sql日志，并增量同步至目标主库。

安装MySQL

先在目标2台服务器上面安装MySQL，请参考Linux - MySQL安装，其中my.cnf配置参考以下，其中server_id主库与从库不一致 主库6 从库7，其他配置都一致，具体参数值参考自己MySQL需求大小进行配置。

[mysqld]
basedir=/usr/local/mysql/mysql8
datadir=/home/mysql/data
log-error=/home/mysql/log/mysql.logserver_id=6
gtid_mode=on
enforce_gtid_consistency=on
binlog_format=row
log-slave-updates=on
log-bin=mysqlbin-log
binlog_row_image = minimalmax_connections=2000
lower_case_table_names=1
character-set-server=utf8mb4
default_authentication_plugin=mysql_native_password
max_binlog_size=1G
max_binlog_cache_size=4G
log_timestamps=system

配置好后就初始化MySQL，然后重置密码操作什么的，先不进行主从连接。

ibd文件迁移

原服务器操作

注：其中有些打通ssh免密也进行了记录(假设原服务器和目标服务器可以互通)，本次迁移未使用到ssh免密

ssh免密

ssh-keygen -t rsa
ssh-copy-id root@10.3.69.6
ssh-copy-id root@10.3.69.7
ssh root@10.3.69.6   # 测试是否免密登录
ssh root@10.3.69.7

创建一个export.sh脚本

找一个磁盘够大的位置（看数据量），创建一个transfer文件夹，在这个文件夹里面创建脚本
我们要一次一个库的去迁移（数据量有点大没磁盘了）当然也可以一次全部迁移全部的库（自行加一个循环），先查询某个库的所有表名，然后导出这个库所有的表结构，然后把ibd文件复制压缩即可
此处我自己写了一个py每过10s向数据库orders表中新增一条数据，模拟真实写入

#!/bin/bash# 数据库连接信息 变量 - 需要更改的
DB_USER="root"          # 替换为你的数据库用户名
DB_PASSWORD="123456"    # 替换为你的数据库密码
DB_HOST="172.17.7.9"    # 主机地址
DB_NAME="dw"            # 数据库名称，想迁移整个MySQL所有库可以写个大循环
MYSQLDUMP_PATH="/usr/local/mysql/mysql8/bin/mysqldump"   # mysqldump 路径
MYSQL_DATA_DIR="/home/weekeight/mysql/data/${DB_NAME}"   # MySQL 数据目录路径# 注：下面的所有值都不需要修改
# 输出文件路径
TABLES_FILE="${DB_NAME}_table_name.txt"
SCHEMA_FILE="${DB_NAME}_schema.sql"
# 创建 dw 文件夹（如果不存在）
DW_DIR="./${DB_NAME}"
mkdir -p "$DW_DIR"
# 查询所有表名并保存到文件，移除标题行
mysql -u "$DB_USER" -p"$DB_PASSWORD" -h "$DB_HOST" -D "$DB_NAME" -e "SHOW TABLES;" | sed '1d' > "$TABLES_FILE"
if [ $? -ne 0 ]; thenecho "导出表名时发生错误"exit 1
fi
echo "表名已成功导出到 $TABLES_FILE"
# 使用 mysqldump 导出表结构到文件
$MYSQLDUMP_PATH -u "$DB_USER" -p"$DB_PASSWORD" -h "$DB_HOST" --no-data --single-transaction --routines --triggers --events "$DB_NAME" > "$SCHEMA_FILE"
if [ $? -ne 0 ]; thenecho "导出表结构时发生错误"exit 1
elseecho "表结构已成功导出到 $SCHEMA_FILE"
fi
# 复制 IBD 文件到 dw 文件夹
while IFS= read -r table; doibd_file="${MYSQL_DATA_DIR}/${table}.ibd"if [ -f "$ibd_file" ]; thencp "$ibd_file" "$DW_DIR/"echo "复制了 $ibd_file 到 $DW_DIR/"elseecho "警告: $ibd_file 不存在"fi
done < "$TABLES_FILE"
# 压缩打包 dw 文件夹
TAR_FILE="${DB_NAME}_ibd_files.tar.gz"
tar -czvf "$TAR_FILE" "$DW_DIR"
if [ $? -eq 0 ]; thenecho "dw 文件夹已成功压缩打包为 $TAR_FILE"
elseecho "压缩打包时发生错误"exit 1
fi
# 清理临时文件夹
rm -rf "$DW_DIR"

上面的脚本写好记得添加权限

chmod +x export.sh

搞好sh脚本后先不用管他，接下来我们进入MySQL进行设置只读和锁表，然后执行脚本，恢复MySQL

SET GLOBAL read_only = ON;    # 设置全局只读模式
FLUSH TABLES WITH READ LOCK;  # 锁表
SHOW ENGINE INNODB STATUS\G   # 检查当前是否还有事务正在执行
# 记录一下当前时间(16:26:00,order结尾11)，用作后续的增量同步，order结尾11验证后面的增量同步order.ibd中只存在11条数据
# 然后去执行上面的./export.sh脚本，脚本执行完毕后继续在MySQL中执行以下命令恢复MySQL
UNLOCK TABLES;                # 解除锁表
SET GLOBAL read_only = OFF;   # 恢复读写模式，恢复后order表记录到38，上面sh脚本保存的ibd文件中不包含12-38

现在的我们已经生成了三个文件了，一个ibd数据文件、一个dw库所有表名文件、一个dw库表结构文件，可以把export.sh文件删除了，已经没用了
在这里插入图片描述
接下来就是把这三个文件移动到目标服务器了，下面使用scp，

scp -r ./transfer/ root@10.3.69.6:/home/weekeight/
scp -r ./transfer/ root@10.3.69.7:/home/weekeight/

目标服务器操作

下面的操作在目标服务器的两台上面同步执行命令

cd /home/weekeight/transfer/   # 进入移动过来的文件夹里面

创建一个import.sh脚本

#!/bin/bash# 变量 - 需要更改的
DB_USER="root"          # 替换为你的数据库用户名
DB_PASSWORD="123456"    # 替换为你的数据库密码
DB_NAME="dw"            # 迁移数据库名
MYSQL_DATA_DIR="/home/mysql/data/${DB_NAME}"   # MySQL 数据目录路径
TRANSFER_DIR="/home/weekeight/transfer"        # 资源目录，就是从原服务器移动过来的# 注：下面的所有值都不需要修改
IBD_TAR_FILE="${TRANSFER_DIR}/${DB_NAME}_ibd_files.tar.gz"
SCHEMA_FILE="${TRANSFER_DIR}/${DB_NAME}_schema.sql"
TABLES_NAME="${TRANSFER_DIR}/${DB_NAME}_table_name.txt"
log_file="all.log"
# 清空日志文件
> "$log_file"
# 检查数据库是否存在
check_db_exists() {mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "SHOW DATABASES LIKE '$DB_NAME';" | grep -w "$DB_NAME" > /dev/null
}
# 检查数据库是否存在
if check_db_exists; thenecho "数据库 $DB_NAME 已存在。" | tee -a "$log_file"
else# 创建数据库echo "正在创建数据库 $DB_NAME..." | tee -a "$log_file"mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "CREATE DATABASE IF NOT EXISTS $DB_NAME;"if [ $? -ne 0 ]; thenecho "创建数据库 $DB_NAME 失败，请检查数据库连接信息和权限。" | tee -a "$log_file"exit 1elseecho "数据库 $DB_NAME 创建成功。" | tee -a "$log_file"fi
fi
# 导入表结构
echo "正在导入表结构..." | tee -a "$log_file"
mysql -u "$DB_USER" -p"$DB_PASSWORD" "$DB_NAME" < "$SCHEMA_FILE"
if [ $? -eq 0 ]; thenecho "表结构已成功导入到数据库 $DB_NAME 中。" | tee -a "$log_file"
elseecho "导入表结构失败，请检查 $SCHEMA_FILE 是否存在且格式正确。" | tee -a "$log_file"exit 1
fi
# 解压 IBD 文件压缩包
echo "解压 IBD 文件..." | tee -a "$log_file"
tar -xzvf "$IBD_TAR_FILE" -C "$TRANSFER_DIR"
if [ $? -ne 0 ]; thenecho "解压失败，请检查 $IBD_TAR_FILE 是否存在且无损坏。" | tee -a "$log_file"exit 1
elseecho "解压成功，文件已放置在 $TRANSFER_DIR 中。" | tee -a "$log_file"
fi
# 循环读取表名
while IFS= read -r table_name; doecho "开始处理表 $table_name..." | tee -a "$log_file"# 设置源和目标路径source_path="${TRANSFER_DIR}/${DB_NAME}/${table_name}.ibd"destination_path="${MYSQL_DATA_DIR}/${table_name}.ibd"# 清除表空间mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "ALTER TABLE $DB_NAME.$table_name DISCARD TABLESPACE;"if [ $? -ne 0 ]; thenecho "表 $table_name: DISCARD TABLESPACE 失败，跳过" | tee -a "$log_file"continuefi# 复制 .ibd 文件cp "$source_path" "$destination_path"if [ $? -ne 0 ]; thenecho "表 $table_name: 文件复制失败，跳过" | tee -a "$log_file"continuefi# 修改文件拥有者为 mysqlchown mysql:mysql "$destination_path"if [ $? -ne 0 ]; thenecho "表 $table_name: 更改文件拥有者失败，跳过" | tee -a "$log_file"continuefi# 导入表空间mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "ALTER TABLE $DB_NAME.$table_name IMPORT TABLESPACE;"if [ $? -ne 0 ]; thenecho "表 $table_name: IMPORT TABLESPACE 失败，跳过" | tee -a "$log_file"continuefiecho "表 $table_name 迁移成功" | tee -a "$log_file"
done < "$TABLES_NAME"
echo "所有表处理完成，详情见 $log_file" | tee -a "$log_file"

创建import.sh后执行下面操作

chmod +x import.sh   # 修改权限
./import.sh          # 执行，执行完毕后检查一下打印是否正确，可以查看all.log日志
cd ..
rm -rf ./transfer    # 删除移动过来的文件夹即可，已无用

一主一从

下面是在目标服务器的MySQL上的操作，是进行一主一从的连接

首先在主库上面查看gtid值

mysql> SHOW VARIABLES LIKE 'gtid_executed';
+---------------+-------------------------------------------+
| Variable_name | Value                                     |
+---------------+-------------------------------------------+
| gtid_executed | 36513eed-b6bd-11ef-843c-6c92bfcb11f0:1-76 |
+---------------+-------------------------------------------+
1 row in set (0.01 sec)

然后在从库上面进行绑定连接

SET @@GLOBAL.GTID_PURGED='36513eed-b6bd-11ef-843c-6c92bfcb11f0:1-76';   # 把主库的gtid添加到这里
change master to master_host='10.3.69.6',master_port=3306,master_user='root',master_password='123456',master_auto_position=1 for channel 'master1';   # 连接主库创建管道名为msater1
start slave for channel 'master1';   # 单独启动master1进行复制，可使用start slave;
show slave status\G   # 查看从库的状态，状态中Slave_IO_Running与Slave_SQL_Running同为yes时正常，不然就是异常

下面的几个命令不需要执行，如果主从连接出现了问题，那么我们就要停止连接，清除配置，重新连接时使用的

stop slave;        # 停止主从
reset master;      # 重置主库配置
reset slave all;   # 重置从库配置

下面就是去主库上面进行创建一个数据库，或者写入数据，查看从库是否变化了

增量同步

上方已经记录了时间以及order参数(16:26:00)，目标数据库的参数为11，原数据库的参数是38

先在原mysql上面进行查看binlog的file，然后导出binlog信息

mysql> SHOW MASTER STATUS;
+---------------+----------+--------------+------------------+-------------------+
| File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+---------------+----------+--------------+------------------+-------------------+
| binlog.000014 | 33034659 |              |                  |                   |
+---------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
  • –skip-gtids：跳过GTID事件，必填项，不加的话导出的数据用不了，GTID冲突
  • –database：指定数据库
  • –start-datetime：指定开始时间，此时间即锁表后的时间，上面已经记录了
  • –stop-datetime：指定结束时间，最好指定此时间，导出的数据包头不包尾，这样的话如果有需要，下次的增量同步这个就是开始时间
  • binlog的文件在MySQL数据目录中，上面已经有文件名称了
/usr/local/mysql/mysql8/bin/mysqlbinlog --skip-gtids --database=dw --start-datetime="2024-12-12 16:26:00" --stop-datetime="2024-12-13 10:00:00" /home/weekeight/mysql/data/binlog.000014 > ./dw20241213100000.sql

把dw20241213100000.sql文件发送到目标服务器主库上面，从库不需要。

scp -r ./dw20241213100000.sql root@10.3.69.6:/usr/local/

下面在主库上导入sql

mysql -u root -p dw < dw20241213100000.sql

然后查看主库以及从库orders参数是否增加。

异常解决

@@SESSION.GTID_NEXT cannot be set to ANONYMOUS when @@GLOBAL.GTID_MODE = ON.

主库执行增量的sql文件时报错
binlog导出sql信息时使用–skip-gtids跳过GTID事件

Multiple channels exist on the slave. Please provide channel name as an argument

需要将从机的master清空（本机连接的有master的也要清空）
stop slave; reset slave all; reset master;

@@GLOBAL.GTID_PURGED cannot be changed: the added gtid set must not overlap with @@GLOBAL.GTID_EXECUTED

reset master;

@@GLOBAL.GTID_PURGED cannot be changed: the new value must be a superset of the old value

之前已经存在gtid了想再需要配置一个多个的
SET @@GLOBAL.GTID_PURGED=‘以前的gtid…,新的gtid’;

结尾

至此MySQL迁移至一主一从已经全部搞定，如果有问题或者有其他好的方案望提议，共同学习。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/64153.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

29. Three.js案例-自定义平面图形

29. Three.js案例-自定义平面图形

29. Three.js案例-自定义平面图形 实现效果 知识点 WebGLRenderer WebGLRenderer 是 Three.js 中用于渲染 3D 场景的核心类。它利用 WebGL 技术在浏览器中渲染 3D 图形。 构造器 THREE.WebGLRenderer(parameters : object) 参数类型描述parametersobject可选参数对象&…
阅读更多...
大模型运用-Prompt Engineering（提示工程）

大模型运用-Prompt Engineering（提示工程）

什么是提示工程 提示工程 提示工程也叫指令工程&#xff0c;涉及到如何设计、优化和管理这些Prompt&#xff0c;以确保AI模型能够准确、高效地执行用户的指令&#xff0c;如&#xff1a;讲个笑话、java写个排序算法等 使用目的 1.获得具体问题的具体结果。&#xff08;如&…
阅读更多...
MTK Android12 更换开机LOGO和开机动画

MTK Android12 更换开机LOGO和开机动画

1、路径&#xff1a; &#xff08;1&#xff09;device/mediatek/system/common/device.mk &#xff08;2&#xff09;vendor/audio-logo/animation/bootanimation.zip &#xff08;3&#xff09;vendor/audio-logo/products/resource-copy.mk &#xff08;4&#xff09;vendo…
阅读更多...
嵌入式驱动开发详解16（音频驱动开发）

嵌入式驱动开发详解16（音频驱动开发）

文章目录 前言WM8960简介I2S协议接口说明 SAI音频接口简介驱动框架简介设备树配置内核使能声卡设置与测试 后续参考文献 前言 该专栏主要是讲解嵌入式相关的驱动开发&#xff0c;但是由于ALSA驱动框架过于复杂&#xff0c;实现音频编解码芯片的驱动不是一个人能完成的&#xf…
阅读更多...
learn-(Uni-app)输入框u-search父子组件与input输入框(防抖与搜索触发)

learn-(Uni-app)输入框u-search父子组件与input输入框(防抖与搜索触发)

1.父子组件u-search &#xff08;1&#xff09;父组件 <!-- 父组件 --> <template> <div><searchBar change"change" search"search"></searchBar> </div> </template> <script> // 子组件搜索 import…
阅读更多...
计算机进制的介绍

计算机进制的介绍

一.进制介绍 对于整数&#xff0c;有四种表示方式: 1&#xff09;二进制:0,1&#xff0c;满2进1。 在golang中&#xff0c;不能直接使用二进制来表示一个整数&#xff0c;它沿用了c的特点。 参考:Go语言标准库文档中文版 | Go语言中文网 | Golang中文社区 | Golang中国 //赋值…
阅读更多...
Transformers参数高效微调之LoRA

Transformers参数高效微调之LoRA

简介 LoRA: Low-Rank Adaptation of Large Language Models是微软研究人员为处理微调大语言模型的问题而引入的一项新技术。具有数十亿个参数的强大模型&#xff08;例如 GPT-3&#xff09;为了适应特定任务或领域而进行微调的成本非常高。LoRA 建议冻结预先训练的模型权重并注…
阅读更多...
【原生js案例】如何让你的网页实现图片的按需加载

【原生js案例】如何让你的网页实现图片的按需加载

按需加载&#xff0c;这个词应该都不陌生了。我用到你的时候&#xff0c;你才出现就可以了。对于一个很多图片的网站&#xff0c;按需加载图片是优化网站性能的一个关键点。减少无效的http请求&#xff0c;提升网站加载速度。 感兴趣的可以关注下我的系列课程【webApp之h5端实…
阅读更多...
博弈论1：拿走游戏（take-away game）

博弈论1：拿走游戏（take-away game）

假设你和小红打赌&#xff0c;玩“拿走游戏”&#xff0c;输的人请对方吃饭.... 你们面前有21个筹码&#xff0c;放成一堆&#xff1b;每轮你或者小红可以从筹码堆中拿走1个/2个/3个&#xff1b;第一轮你先拿&#xff0c;第二轮小红拿&#xff0c;你们两个人交替进行;拿走筹码堆…
阅读更多...
【论文阅读】IC-Light（ICLR 2025 满分论文）

【论文阅读】IC-Light（ICLR 2025 满分论文）

Scaling In-the-Wild Training for Diffusion-based Illumination Harmonization and Editing by Imposing Consistent Light Transport 原始论文&#xff1a;https://openreview.net/pdf?idu1cQYxRI1H 补充材料&#xff1a;https://openreview.net/attachment?idu1cQYxRI1H&…
阅读更多...
Unix 传奇 | 谁写了 Linux | Unix birthmark

Unix 传奇 | 谁写了 Linux | Unix birthmark

注&#xff1a;本文为 “左耳听风”陈皓的 unix 相关文章合辑。 皓侠已走远&#xff0c;文章有点“年头”&#xff0c;但值得一阅。 文中部分超链已沉寂。 Unix 传奇 (上篇) 2010 年 04 月 09 日 陈皓 了解过去&#xff0c;我们才能知其然&#xff0c;更知所以然。总结过去…
阅读更多...
记一个framebuffer显示混乱的低级错误

记一个framebuffer显示混乱的低级错误

记一个framebuffer显示混乱的低级错误 由于framebuffer的基础知识不扎实&#xff0c;这个任务上我多卡了两天&#xff0c;差点把我搞死&#xff0c;于此记录为后鉴。 打算用awtk做一个多进程项目&#xff0c;计划把framebuffer的内容通过websocket输出到浏览器上去显示画面, …
阅读更多...
常用的前端框架介绍

常用的前端框架介绍

在前端开发中&#xff0c;有许多流行的框架能够帮助开发者更高效地构建用户界面和交互 1. React&#xff1a; • React是一个由Facebook开发的JavaScript库&#xff0c;用于构建用户界面。 • 它使用组件化的思想&#xff0c;将UI拆分成可复用的组件&#xff0c;每个组件都有自…
阅读更多...
Kaggler日志-Day4

Kaggler日志-Day4

进度24/12/14 昨日复盘&#xff1a; Pandas课程完成 Intermediate Mechine Learning2/7 今日记录&#xff1a; Intermediate Mechine Learning之类型变量 读两篇讲解如何提问的文章&#xff0c;在提问区里发起一次提问 实战&#xff1a;自己从头到尾首先Housing Prices Compe…
阅读更多...
【常考前端面试题总结】---2025

【常考前端面试题总结】---2025

React fiber架构 1.为什么会出现 React fiber 架构? React 15 Stack Reconciler 是通过递归更新子组件 。由于递归执行&#xff0c;所以更新一旦开始&#xff0c;中途就无法中断。当层级很深时&#xff0c;递归更新时间超过了 16ms&#xff0c;用户交互就会卡顿。对于特别庞…
阅读更多...
二三(Node2)、Node.js 模块化、package.json、npm 软件包管理器、nodemon、Express、同源、跨域、CORS

二三(Node2)、Node.js 模块化、package.json、npm 软件包管理器、nodemon、Express、同源、跨域、CORS

1. Node.js 模块化 1.1 CommonJS 标准 utils.js /*** 目标&#xff1a;基于 CommonJS 标准语法&#xff0c;封装属性和方法并导出*/ const baseURL "http://hmajax.itheima.net"; const getArraySum (arr) > arr.reduce((sum, item) > (sum item), 0);mo…
阅读更多...
Java爬虫设计：淘宝商品详情接口数据获取

Java爬虫设计：淘宝商品详情接口数据获取

1. 概述 淘宝商品详情接口&#xff08;如Taobao.item_get&#xff09;允许开发者通过编程方式&#xff0c;以JSON格式实时获取淘宝商品的详细信息&#xff0c;包括商品标题、价格、销量等。本文档将介绍如何设计一个Java爬虫来获取这些数据。 2. 准备工作 在开始之前&#x…
阅读更多...
LeetCode-hot100-73

LeetCode-hot100-73

https://leetcode.cn/problems/largest-rectangle-in-histogram/description/?envTypestudy-plan-v2&envIdtop-100-liked 84. 柱状图中最大的矩形 已解答 困难 相关标签 相关企业 给定 n 个非负整数&#xff0c;用来表示柱状图中各个柱子的高度。每个柱子彼此相邻&#x…
阅读更多...
【docker】springboot 服务提交至docker

【docker】springboot 服务提交至docker

准备docker &#xff08;不是docker hub或者harbor&#xff0c;就是可以运行docker run的服务&#xff09;&#xff0c;首先确保docker已经安装。 本文以linux下举例说明&#xff1a; systemctl stats docker ● docker.service - Docker Application Container EngineLoaded…
阅读更多...
通过ajax的jsonp方式实现跨域访问，并处理响应

通过ajax的jsonp方式实现跨域访问，并处理响应

一、场景描述 现有一个项目A&#xff0c;需要请求项目B的某个接口&#xff0c;并根据B接口响应结果A处理后续逻辑。 二、具体实现 1、前端 前端项目A发送请求&#xff0c;这里通过jsonp的方式实现跨域访问。 $.ajax({ url:http://10.10.2.256:8280/ssoCheck, //请求的u…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023