MySQL物理备份与恢复工具XtraBackend使用总结

文章目录

        • 1.描述
        • 2.安装
        • 3.使用
          • 3.1 备份源数据库
          • 3.2 恢复到目标数据库
            • 3.2.1 恢复目录
            • 3.2.2 解压文件
            • 3.2.3 应用日志
            • 3.2.4 复制数据
        • 4.使用总结
          • 4.1 备份
          • 4.2 恢复
          • 4.3 例子

1.描述

借助Percona XtraBackup工具实现MySQL的物理备份与恢复,相当于将整个MySQL进行了复制,再粘贴到其他地方运行。

2.安装

XtraBackup与MySQL版本对应关系:

XtraBackupMySQL
percona-xtrabackup-245.7
percona-xtrabackup-808
percona-xtrabackup-818.1
percona-xtrabackup-828.2
percona-xtrabackup-838.3
yum -y install percona-xtrabackup-24
yum -y install rsync
yum -y install perl-Digest-MD5
yum -y install qpress
3.使用
3.1 备份源数据库
#读取指定配置文件中的信息,压缩mysql的数据,输出到/mysql目录下,再重定向到test.xbstream文件中(相当于tar包)。
innobackupex --defaults-file=/etc/my.cnf  --user=root --password='123456' --port=3306 --socket=/tmp/mysql.sock --stream=xbstream --compress --parallel=8 --compress-threads=8 /mysql > /databak/test.xbstream

–defaults-file指定mysql配置文件,需要包含datadir等信息

–stream采用流的方式备份,这样可以选择输出到本地或远程

3.2 恢复到目标数据库

如果恢复位置不在同一台服务器,可以通过scp进行文件传输。

3.2.1 恢复目录
#相当于解压tar包,输出到指定目录下
xbstream -x < /databak/test.xbstream -C /databak/test
3.2.2 解压文件
#对前一步输出目录下的所有压缩文件进行解压
innobackupex --decompress --parallel=8 --compress-threads=8 /databak/test
3.2.3 应用日志
#通过redo同步已提交的事务,使数据文件保持一致
innobackupex --apply-log /databak/test
3.2.4 复制数据

复制数据前,先停止目标MySQL,删除他的data目录和日志目录

#将数据文件拷贝到目标MySQL的数据目录下
innobackupex --defaults-file=/etc/my.cnf  --parallel=8 --copy-back /databak/test

3.2.5 启动

#修改mysql相关的文件持有者为mysql用户
chown -R mysql.mysql /data/mysql
#启动mysql
systemctl start mysqld

如果是目标MySQL是从服务器,需要恢复主从关系

#查看备份的数据最后的binlog的偏移量,或者gtid
cat /databak/test/xtrabackup_binlog_info
#格式如下:
#mysql-bin.000001        3229488  87bd47b9-12f6-11ed-ae2c-0050569534a2:1-6,8cdb65cf-12f6-11ed-aab7-005056950a99:1-139

连接到MySQL客户端:

stop slave;
#清理中继日志
reset slave;
#清理binlog
reset master;
#设置已经执行但本地binlog中未记录的gtid集合
set @@global.gtid_purged='87bd47b9-12f6-11ed-ae2c-0050569534a2:1-6,8cdb65cf-12f6-11ed-aab7-005056950a99:1-139';
#重新建立主从关系
change master to master_host='192.168.86.111',master_port=3306,master_user='backuser',master_password='123456', master_auto_position=1 ;
start slave;
show slave status\G
4.使用总结

环境:96核 754G内存 30T磁盘(生产环境的物理机)

4.1 备份

压缩效率:XtraBackup默认采用的zstd压缩算法,理论压缩比为5:1。实际使用中,一个MySQL实例由3.2t压缩为502G;另一个MySQL实例由5.7t压缩为825G,压缩比达到6:1以上

备份速度:一个MySQL实例备份生成502G的压缩文件,耗时大约50分钟,判断每10分钟生成100G的压缩文件。如果5个t的数据,压缩后可能为800G,则耗时约80分钟。

传输文件:通过scp传输文件,速度约为350-450MB/s,500G需要20-25分钟

4.2 恢复

恢复包含多个步骤:

恢复目录:将压缩文件解包到指定目录下,速度较快,约10-20分钟

解压:一个MySQL实例为512G,解压后3.6T,解压耗时约37分钟,约10分钟1T

应用日志:一个MySQL实例耗时约15分钟

复制:一个MySQL实例,3.6T数据复制耗时约40分钟,约10分钟1T

4.3 例子

综上,假设现有5T的数据需要处理,从备份到恢复的整个流程耗时如下:

  1. 备份,5T按6:1压缩至800G,耗时80分钟
  2. 传输,scp按450M/s,耗时30分钟
  3. 恢复,20分钟
  4. 解压,10分钟1T,耗时50分钟
  5. 应用日志,20分钟
  6. 复制,10分钟1T,耗时50分钟

在以上理想情况下,5T数据至少需要4个小时以上,实际可能5-6小时

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/41871.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django+vue自动化测试平台(25)-- 自动化测试之封装APscheduler定时任务框架

APscheduler简介 APscheduler全称Advanced Python Scheduler&#xff0c;作用为在指定的时间规则执行指定的作业&#xff0c;其是基于Quartz的一个Python定时任务框架&#xff0c;实现了Quartz的所有功能&#xff0c;使用起来十分方便。提供了基于日期、固定时间间隔以及cront…

2.5 C#视觉程序开发实例1----CamManager实现模拟相机采集图片

2.5 C#视觉程序开发实例1----CamManager实现模拟相机采集图片 1 目标效果视频 CamManager 2 CamManager读取本地文件时序 3 BD_Vision_Utility添加代码 3.0 导入链接库 BD_OperatorSets.dllSystem.Windows.Forms.dllOpencvSharp 3.1 导入VisionParam中创建的文件Util_FileO…

安防监控/视频汇聚平台EasyCVR设备录像回看请求播放时间和实际时间对不上,是什么原因?

安防监控EasyCVR视频汇聚平台可提供多协议&#xff08;RTSP/RTMP/国标GB28181/GAT1400/海康Ehome/大华/海康/宇视等SDK&#xff09;的设备接入、音视频采集、视频转码、处理、分发等服务&#xff0c;系统具备实时监控、云端录像、回看、告警、平台级联以及多视频流格式分发等视…

旅游计划定制小程序网页模板源码

手机在线旅游定制服务&#xff0c;定制旅游出行app小程序模板。包含&#xff1a;定制介绍、定制表单填写、我的订单等。 旅游计划定制小程序网页模板源码

C++ STL 文件系统用法介绍

目录 一. 获取当前工作目录 二:设置和读取文件写入时间 三:获取文件目录大小 四:获取文件类型信息 一. 获取当前工作目录 #include <filesystem> #include <iostream> #include <fstream> namespace fs = std::filesystem;int main() {std::cout &l…

交换机接口三种模式Access、Trunk、Hybrid

交换机接口的三种模式 1.access接口模式&#xff08;接入链路&#xff0c;接入模式&#xff09; 接收数据&#xff1a;当接收到一个无标记帧的时候&#xff0c;打上自己的PVid并接受&#xff08;就是自己的vlan标签&#xff09;。当接收到一个有标记帧的时候&#xff0c;对比…

swiftui中NavigationStack布局navigationBarTitleDisplayMode作用,以及内容顶部空白区域解决办法

写了一个小demo用于学习NavigationStack和toolbar/ToolbarItem知识&#xff0c;但是在写一个瀑布流布局的时候&#xff0c;设置了顶部的toolbar&#xff0c;然后内容区域的顶部出现了一大片空白区域&#xff0c;这样的效果并不是很美观很好看&#xff0c;所以就想着研究解决一下…

科普文:一文搞懂SpringBoot(狂神说Java)

1、Hello,World&#xff01; 1.1、SpringBoot简介 回顾什么是Spring Spring是一个开源框架&#xff0c;2003 年兴起的一个轻量级的Java 开发框架&#xff0c;作者&#xff1a;Rod Johnson 。 Spring是为了解决企业级应用开发的复杂性而创建的&#xff0c;简化开发。 Spring是…

clickhouse学习笔记(五)SQL操作

目录 一、增 二、删改 三、查询以及各种子句 1、with子句 a、表达式为常量 b、表达式为函数调用 c、表达式为子查询 2、from子句 3、array join子句 a、INNER ARRAY JOIN b、LEFT ARRAY JOIN c、数组的一些函数 groupArray groupUniqArray arrayFlatten splitBy…

Java 如何在volatile内部调用接口

在Java中&#xff0c;volatile 关键字通常用于确保变量的可见性和有序性&#xff0c;而不是用来修饰接口或方法调用的。volatile 修饰的变量会被立即同步到主存&#xff0c;并且在每次访问时都会从主存中重新读取&#xff0c;而不是从缓存中读取。这意味着对volatile变量的修改…

2005-2023年各省居民人均消费支出、城镇居民人均消费支出、农村居民人均消费支出数据(无缺失)

2005-2023年各省居民人均消费支出、城镇居民人均消费支出、农村居民人均消费支出数据&#xff08;无缺失&#xff09; 1、时间&#xff1a;2005-2023年 2、来源&#xff1a;国家统计局、统计年鉴 3、范围&#xff1a;31省 4、指标&#xff1a;全体居民人均消费支出、城镇居…

探索 Linux 的 /etc/hosts 文件:基础知识与实用指南

探索 Linux 的 /etc/hosts 文件&#xff1a;基础知识与实用指南 在 Linux 和 Unix 系统中&#xff0c;/etc/hosts 文件扮演着一个至关重要的角色。它是系统的本地 DNS&#xff08;域名系统&#xff09;解析器&#xff0c;负责将主机名映射到 IP 地址。在网络和系统管理中&…

Linux中软件yum安装与编译安装

yum安装与编译安装是Linux系统中常见的两种软件安装方式&#xff0c;它们在多个方面存在显著的区别。以下是对这两种安装方式的详细比较&#xff1a; yum安装 定义与特点&#xff1a; 定义&#xff1a;YUM&#xff08;Yellow dog Updater, Modified&#xff09;是Linux类系统…

Windows netstat命令详解,Windows查看网络连接

「作者简介」&#xff1a;冬奥会网络安全中国代表队&#xff0c;CSDN Top100&#xff0c;就职奇安信多年&#xff0c;以实战工作为基础著作 《网络安全自学教程》&#xff0c;适合基础薄弱的同学系统化的学习网络安全&#xff0c;用最短的时间掌握最核心的技术。 netstat 常用来…

rocketmq实现限流

目录 问题背景 技术方向 方案确认 消息队列&#xff08;√&#xff09; 分布式锁&#xff08;&#xff09; 方案实现 监控方向 业务方向 问题背景 公司邮件服务token有 分钟内超200封的熔断机制&#xff0c;当前token被熔断后&#xff0c;系统发邮件操作会被忽略&…

python中的原子操作简介

深入理解Python中的原子操作 在现代编程中&#xff0c;多线程是提高程序执行效率的常用技术。然而&#xff0c;当多个线程并发执行时&#xff0c;如何确保数据的一致性和操作的正确性成为了一个关键问题。原子操作&#xff08;Atomic Operation&#xff09;便是解决这一问题的…

责任链模式(大话设计模式)C/C++版本

责任链模式 C #include <iostream> #include <memory>using namespace std; // 请求类 struct Request {std::string requestType; // 请求类型int number; // 该请求类型的数量std::string requestContent; // 请求内容 };// 抽象经理类 clas…

MySQL学习记录 —— 십칠 CentOS7.9环境下的MySQL8.4 安装和配置

文章目录 1、安装和配置2、MySQL 包位置3、主要程序介绍 本篇开始在之前mysql博客的基础上继续延伸&#xff0c;适合有一定基础的mysql使用者阅读 环境 &#xff1a;CentOS 7.9 root 用户&#xff0c;MySQL 8.4 1、安装和配置 看一下当前系统版本 cat /etc/redhat-release应当…

前端重点之:Vue+websocket通信详细用法和websocket心跳机制的使用,websocket断开实时监测,websocket实时通信

今年年初找工作,好多gou面试官总喜欢问关于websocket通信的使用方式,此次又用到了,在此做个总结:主要包含websocket的具体使用方法,和重点:(心跳机制的使用),就是主要是前端实时监测websocket是否有断连和数据的处理 在前端开发中,WebSocket 是一种常见的技术,用于…

浅谈序列化及文本格式

序列化及文本格式 需求背景 软件项目在开发过程中&#xff0c;将大量初始化配置项在一定程度上保存在配置文件中。肯定有很多人有疑问&#xff0c;为什么不将这些信息放在软件内存中。开机时与用户交互进行确认&#xff1f;这肯定是一个好想法&#xff0c;但是如果配置太多或…