XtraBackup 8.0.33-28 prepare 速度提升 20 倍！

在这篇博文中，我们将描述 Percona XtraBackup 8.0.33-28 的改进，这显著减少了备份准备所需的时间，以便进行恢复操作。 Percona XtraBackup 中的这一改进显着缩短了新节点加入 Percona XtraDB 集群（PXC） 所需的时间。

Percona XtraDB Cluster 使用 Percona XtraBackup 在节点之间执行 SST（状态快照传输）。当一个新节点加入集群时，会从 DONOR 到 JOINER 执行 SST。 JOINER 使用 PXB 从 DONOR 流式传输数据目录。 JOINER 必须在使用它之前准备备份。 观察到，当 DONOR 拥有大量表空间（一百万个）时，JOINER 一侧的 XtraBackup 无法完成数据准备阶段（xtrabackup -prepare）。

Prepare 阶段

Percona XtraBackup 复制 InnoDB 数据文件。数据在服务器并发修改数据文件时内部不一致，因为服务器并发地修改数据文件。 Percona XtraBackup 对文件执行崩溃恢复，以再次创建一致的可用数据库。 这称为 Prepare 操作（xtrabackup -prepare）。

XtraBackup Prepare 操作分两个阶段进行：

  • Redo Log 应用
  • Undo Log 应用

Redo Log 应用阶段

将 Redo Log 文件修改的更改应用于页面。 此阶段没有行或事务的概念。Redo 应用阶段不会使数据库与事务一致。服务器可以刷新或写入未提交事务的更改到 Redo Log 中。 XtraBackup 仍应用记录在 Redo Log 中的修改，并且 Redo Log 应用阶段不会撤消这些更改。为此，我们必须使用 Undo Log。

Undo Log 应用阶段

Undo Log 应用阶段（也称为回滚阶段），将读取 Undo Log 页面中的更改以撤消事务。然后它们再次应用于页面（例如，再次写入旧值），并写入磁盘。在此阶段之后，备份过程中所有未提交的事务都会被回滚。

Undo Log 记录有两种类型：INSERT Undo Log 记录和 UPDATE Undo Log 记录。 删除记录标记被视为 UPDATE UNDO Log 记录的子类型。

格式如下所示：

当服务器写入这些记录时，它不会与每个记录一起写入索引/表信息。它只将“table_id”写入作为 UNDO LOG 记录的一部分。 table_id 用于获取表架构。 从 Undo Log 记录中获取表架构和关键字段用于创建索引搜索元组（Key）。 此搜索元组（Key）用于查找要执行撤消操作的记录。

所以，给定一个 table_id，你如何获取表架构/定义?

在服务器上初始化“数据字典”（DD）引擎和 DD 缓存后，存储引擎可以请求表定义。例如，InnoDB 根据也称为“se_private_id”的 table_id 请求表定义。

与服务器不同，Percona XtraBackup 无法访问“数据字典”（DD）。初始化 DD 引擎和缓存会增加复杂性和其他服务器依赖项。XtraBackup 不会简单地像服务器一样访问表对象。

为何 Percona XtraBackup 受到数以千计的企业信赖？

Percona XtraBackup 初始化 InnoDB 引擎，并需要所有目的（回滚、导出等）的“InnoDB 表对象”，也称为 dict_table_t。XtraBackup 依靠序列化字典信息（SDI）。 这是表的 JSON 表示形式。 对于 InnoDB 表空间，该信息存储在表空间内。从 8.0 开始，IBD 文件是“自描述的”；例如，表架构在 IBD 文件中可用。

让我们看一个示例表。

CREATE TABLE test.t1(a INT PRIMARY KEY, b INT);

CREATE TABLE 语句在 test 目录中创建一个名为 t1.ibd 的文件。例如，mysql datadir/test/t1.ibd。 因此 t1.ibd 包含有关表结构（列、它们的类型、索引数量、索引中的列、外键等）的信息作为 SDI。 使用名为“ibd2sdi”的工具从 IBD 文件中提取 SDI。

ibd2sdi data/test/t1.ibd > t1.sdi

如您所见，表名在“dd_object:name”字段中，列信息存储在“dd_object:columns”数组中。

以往的设计（8.0.33-28 之前）

XtraBackup 从每个 IBD 读取 SDI 并将 每个 IBD 中的所有表加载到缓存中作为不可驱逐的。本质上，通过将表加载为不可驱逐来禁用 LRU 缓存。 每个表保留在内存中，直到 XtraBackup 退出。

这种方法的问题：

  • 加载不需要回滚的表。
  • 从读取表的 SDI 页面进行不必要的 IO 操作。
  • 加载不必要的表会增加准备所需的时间。
  • 占用内存可能导致 OOM。
  • 如果备份目录包含大量 表/IBD 文件，则会导致 XtraBackup Prepare 操作崩溃。
  • 加入 PXC 集群的节点需要更多内存并花费很长时间加入集群。

为什么 XtraBackup 会将表加载为“不可驱逐”？我们可以只是将它们加载为可驱逐来解决问题吗？假设一个表被驱逐，必须再次加载它。XtraBackup 将如何知道包含被驱逐表的表空间（IBD）？它必须再次扫描每个 IBD 才能找到被驱逐的表。

新的设计（8.0.33-28 开始)

为了将表加载为可驱逐的，必须建立 table_id 和包含表的表空间 space_id 之间的关系。它是通过扫描数据字典表 mysql.indexes 和 mysql.index_partitions 的 B 树页面完成的。

建立此 table_id→space_id 关系后，它将在事务回滚期间使用。在这种新设计中，只有在它们上面有事务回滚时，才会加载用户表。

新设计如下：

当达到缓存大小限制或由后台主线程时，缓存中的表将被逐出。

新设计的好处（xtrabackup -prepare）：

  • 使用更少的内存
  • 使用更少的 IO
  • 更快的准备
  • 即使有大量表也能成功完成
  • 节点更快地完成 SST 过程并快速加入 PXC 集群
  • 节点需要更少的内存才能加入 PXC 集群

压测

在其他大小的备份目录上对 xtrabackup -prepare 进行基准测试，如 10K、50K、100K 和 250K 表。性能改进如下：

结论

正如您所见，从 Percona XtraBackup 8.0.33-28 开始，具有字典缓存的 xtrabackup -prepare 更快、更高效。 改进将取决于备份目录中的表空间文件（IBD）数量。 新节点加入 PXC 集群所需的时间也大大减少，因为 SST 过程将更快完成。

更多技术文章，请访问：https://opensource.actionsky.com/

关于 SQLE

爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者，支持多场景审核，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。

SQLE 获取

类型地址
版本库https://github.com/actiontech/sqle
文档https://actiontech.github.io/sqle-docs/
发布信息https://github.com/actiontech/sqle/releases
数据审核插件开发文档https://actiontech.github.io/sqle-docs/docs/dev-manual/plugins/howtouse

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/16926.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Python - OpenCV识别条形码、二维码（已封装，拿来即用）

Python - OpenCV识别条形码、二维码（已封装，拿来即用）

此代码可识别条形码和二维码，已封装好，拿来即用： import cv2 import pyzbar.pyzbar as pyzbar import numpy from PIL import Image, ImageDraw, ImageFontclass CodeScan():def __init__(self):super(CodeScan, self).__init__()def decode…
阅读更多...
阿丹千问vue页面升级-使用Markdown形式展示回答--markdown-it库

阿丹千问vue页面升级-使用Markdown形式展示回答--markdown-it库

阿丹： 在之前开发的阿丹千问 发现回复的文章格式使用 Markdown的格式。所以想使用Markdown的方式来给页面来个升级。 下面就是升级以及开发的过程。 升级思路 使用vue中的markdown-it库 在Vue页面中使用Markdown文档 安装markdown-it： 在Vue项目中…
阅读更多...
【活动总结】0730-COC深圳社区AI●CMeetup第4期——畅谈AI+智能制造与机器人的现状与未来

【活动总结】0730-COC深圳社区AI●CMeetup第4期——畅谈AI+智能制造与机器人的现状与未来

【活动总结】0730-COC深圳社区AI●CMeetup第4期——畅谈AI智能制造与机器人的现状与未来 在过去的半年里，AI 相关技术取得了革命性突破，CSDN CMeet策划推出系列研讨会，深度探讨技术更新后的开发实践。然而，更重要的是如何对 AI 实…
阅读更多...
设计模式：生成器模式

设计模式：生成器模式

这个模式书上讲的比较简单，但是感觉精华应该是讲到了。 引用下其它博客的总结：生成器模式的核心在于分离构建算法和具体的构造实现，从而使得构建算法可以重用。 【设计模式】建造者模式_鼠晓的博客-CSDN博客
阅读更多...
fiddler过滤器

fiddler过滤器

1、fiddler Fiddler是一个免费、强大、跨平台的HTTP抓包工具。下载地址 2、为什么适用过滤器 不适用过滤器时，所有的报文都会被抓包。 我们在开发或测试时，只需要抓包某个域名下的报文 ，以“www.baidu.com”为例，不设置过滤器&…
阅读更多...
iOS开发-实现3DTouch按压App快捷选项shortcutItems及跳转功能

iOS开发-实现3DTouch按压App快捷选项shortcutItems及跳转功能

iOS开发-实现3DTouch按压App快捷选项shortcutItems及跳转功能 App的应用图标通过3D Touch按压App图标，会显示快捷选项，点击选项可快速进入到App的特定页面。 这里用到了UIApplicationShortcutItem与UIMutableApplicationShortcutItem 一、效果图 这里…
阅读更多...
ES6的语法兼容IE浏览器

ES6的语法兼容IE浏览器

案例1 zdsxData.zdsxData.forEach(el>{let str <tr> <td><a href${el.url} target"_blank"><font color"#79EEFF">${el.sxms}</font></a></td> <td>${el.gjjd}</td> <td>${el.zrr}<…
阅读更多...
性能压力测试的重要性与实施方法

性能压力测试的重要性与实施方法

性能压力测试是在软件开发过程中评估系统在不同负载条件下的表现和稳定性的关键步骤。这种测试是为了确定系统在正常和峰值负载下的性能表现&#xff0c;以验证系统是否能够满足用户需求&#xff0c;同时发现潜在的性能问题并加以解决。 首先&#xff0c;性能压力测试对于确保系…
阅读更多...
Linux端口与netstat使用

Linux端口与netstat使用

端口是设备与外界交流的通道&#xff0c;有物理端口和虚拟端口。 Linux有六万多端口&#xff0c;可以分为下面几类&#xff1a; 1.公认端口&#xff08;1~1023&#xff09;&#xff1a;用于系统内置与知名程序的预留使用 2.注册端口&#xff08;1024~49151&#xff09;&…
阅读更多...
Games虚拟现实人本计算研究

Games虚拟现实人本计算研究

晚上八点(北京时间)的 GAMES Webinar 《VR/AR专题》第二期即将开始&#xff01;&#x1f525;&#x1f525;&#x1f525; &#x1f4dc;本期主题&#xff1a;VR人本计算及交互 &#x1f468;&#x1f3fb;‍&#x1f3eb;嘉宾1&#xff1a;北京大学的李胜老师 &#x1f468;…
阅读更多...
用python编写一个小程序,如何用python编写软件

用python编写一个小程序,如何用python编写软件

大家好&#xff0c;给大家分享一下用python编写一个小程序&#xff0c;很多人还不知道这一点。下面详细解释一下。现在让我们来看看&#xff01; 1、python可以写手机应用程序吗&#xff1f; 我想有人曲解意思了&#xff0c;人家说用python开发渣蔽一个手机app&#xff0c;不是…
阅读更多...
面对洪水困境，如何利用Python编写天气预报程序？

面对洪水困境，如何利用Python编写天气预报程序？

目录 引言&#xff1a;步骤一&#xff1a;安装必要的库步骤二&#xff1a;注册天气API步骤三&#xff1a;编写Python代码首先&#xff0c;导入所需库&#xff1a;接着&#xff0c;定义一个函数来获取天气数据&#xff1a;最后&#xff0c;调用该函数并打印出天气预报&#xff1…
阅读更多...
vue项目vue组件和iframe通信

vue项目vue组件和iframe通信

vue项目iframe通信 父组件传入iframe参数&#xff0c;并接受iframe数据 <template><div><a-button type"primary" click"sendPostMessage" icon"search">查询</a-button><iframe ref"iframe" style"h…
阅读更多...
让SpringBoot不需要Controller、Service、DAO、Mapper，卧槽！这款工具绝了！

让SpringBoot不需要Controller、Service、DAO、Mapper，卧槽！这款工具绝了！

Dataway介绍 Dataway 是基于 DataQL 服务聚合能力&#xff0c;为应用提供的一个接口配置工具。使得使用者无需开发任何代码就配置一个满足需求的接口。整个接口配置、测试、冒烟、发布。一站式都通过 Dataway 提供的 UI 界面完成。UI 会以 Jar 包方式提供并集成到应用中并和应…
阅读更多...
要彻底学好C++，学习建议

要彻底学好C++，学习建议

如果你已经掌握了C的基本语法&#xff01;要彻底学好C&#xff0c;以下是一些建议的步骤&#xff1a; 深入学习C核心概念&#xff1a; 理解面向对象编程&#xff08;OOP&#xff09;的概念&#xff0c;学习类、对象、继承、封装和多态等。掌握C中的数据类型、变量、运算符、条件…
阅读更多...
CNN、数据预处理、模型保存

CNN、数据预处理、模型保存

目录 CNN代码读取数据搭建CNN训练网络模型 数据增强迁移学习图像识别策略数据读取定义数据预处理操作冻结resnet18的函数把模型输出层改成自己的设置哪些层需要训练设置优化器和损失函数训练开始训练再训练所有层关机了&#xff0c;再开机&#xff0c;加载训练好的模型 CNN 代码…
阅读更多...
如何快速用Go获取短信验证码

如何快速用Go获取短信验证码

要用Go获取短信验证码&#xff0c;通常需要连接到一个短信服务提供商的API&#xff0c;并通过该API发送请求来获取验证码。由于不同的短信服务提供商可能具有不同的API和授权方式&#xff0c;我将以一个简单的示例介绍如何使用Go语言来获取短信验证码。 在这个示例中&#xff0…
阅读更多...
Flutter中Dart语言常用知识

Flutter中Dart语言常用知识

目录 1. 变量和数据类型2. 函数3. 类4. 异常处理5. 泛型6. 变量声明和类型推断&#xff1a;7. 函数定义&#xff1a;8. 类定义和实例化&#xff1a;9. 接口定义&#xff1a;10. 抽象类定义&#xff1a;11. 混合类型列表&#xff1a;12. Flutter 中的 UI 组件&#xff1a;13.Dar…
阅读更多...
【ARM Coresight 系列文章 2.4 - Coresight 寄存器：DEVARCH，DEVID， DEVTYPE】

【ARM Coresight 系列文章 2.4 - Coresight 寄存器：DEVARCH，DEVID， DEVTYPE】

文章目录 1.1 DEVARCH(device architecture register)1.2 DEVID(Device configuration Register)1.3 DEVTYPE(Device Type Identifier Register) 1.1 DEVARCH(device architecture register) DEVARCH 寄存器标识了coresight 组件的架构信息。 bits[31:21] 定义了组件架构&…
阅读更多...
深入了解Unity的Input类：一份详细的技术指南(六)

深入了解Unity的Input类：一份详细的技术指南(六)

前言 在Unity开发中&#xff0c;我们通常需要获取并处理用户的输入&#xff0c;这时我们就需要用到Unity的Input类。它允许我们通过键盘&#xff0c;鼠标&#xff0c;触摸屏&#xff0c;游戏手柄等多种方式从用户那里接收输入。在本篇文章中&#xff0c;我会用一万字以上深度解…
阅读更多...
最新文章

Copyright @ 2022~2023