【MySQL精通之路】MySQL8.0新增功能-原子DDL语句支持

太长不看系列:

本文一句话总结,MySQL8.0支持多条DDL语句执行时的原子性了(仅限Innodb)

本文属于下面这篇博客的子博客:

【MySQL精通之路】MySQL8.0官方文档-新增功能

1.意义描述

MySQL 8.0支持原子数据定义语言(DDL)语句。此功能被称为原子DDL。原子DDL语句将与DDL操作相关联的数据字典更新存储引擎操作二进制日志写入合并为单个原子操作。该操作要么被提交,并将适用的更改持久化到数据字典、存储引擎和二进制日志中,要么被回滚,即使服务器在操作过程中停止。

注意:

原子DDL不是事务DDL。DDL语句,无论是原子语句还是其他语句,都会隐式地结束当前会话中活动的任何事务,就好像在执行该语句之前执行了COMMIT一样。这意味着DDL语句不能在另一个事务中执行,也不能在事务控制语句(如START transaction…)中执行。。。COMMIT,或与同一事务中的其他语句组合。

博主PS:

DDL(data definition language)是数据定义语言:DDL比DML要多,主要的命令有CREATE、ALTER、DROP

通过在MySQL 8.0中引入MySQL数据字典Atomic DDL成为可能。在早期的MySQL版本中,元数据存储在元数据文件、非事务表和特定于存储引擎的字典中,这就需要进行中间提交。MySQL数据字典提供的集中式、事务性元数据存储消除了这一障碍,使DDL语句操作可以重新构造为原子操作。

博主PS:相信从官方文档博客过来的朋友已经详读过下面这篇关于数据字典的博客了,看过的朋友应该比较容易理解上面这段话,需要数据字典前置知识

【MySQL精通之路】MySQL8.0官方文档-数据字典-CSDN博客

原子DDL功能在本节的以下主题下进行了描述:

2.功能描述

2.1 支持的DDL语句

原子DDL功能同时支持表和非表DDL语句与表相关的DDL操作需要存储引擎支持而非表DDL操作则不需要。目前,只有InnoDB存储引擎支持原子DDL

支持的表DDL语句:

数据库表空间索引CREATEALTERDROP语句,以及 TRUNCATE TABLETRUNCATE TABLETRUNCATE TABLE语句。

支持的非表DDL语句包括:
CREATE和DROP语句,以及存储程序、触发器、视图和可加载函数的ALTER语句(如果适用)。

帐户管理语句:

CREATE、ALTER、DROP,以及用户和角色的RENAME语句(如果适用),以及GRANT和REVOKE语句。


原子DDL功能不支持以下语句:

- 涉及InnoDB以外的存储引擎的表相关DDL语句。
- INSTALL PLUGIN和UNINSTALL PLUGING语句。
- INSTALL COMPONENT和UNINSTALL COMPONMENT语句。
- CREATE SERVER、ALTER SERVER和DROP SERVER语句。


2.2 原子DDL特性

原子DDL语句的特征包括以下内容:

元数据更新、二进制日志写入和存储引擎操作(如果适用)组合为一个原子操作。在DDL操作期间,SQL层没有中间提交。

适用:
数据字典例程事件可加载函数缓存的状态与DDL操作的状态一致,这意味着缓存会更新以反映DDL操作是否成功完成或回滚。

DDL操作中涉及的存储引擎方法不执行中间提交,存储引擎将自己注册为DDL操作的一部分。
存储引擎支持DDL操作的重做和回滚,这是在DDL操作的后DDL阶段执行的。

DDL操作的可见行为是原子行为,它会更改某些DDL语句的行为。请参阅DDL语句行为中的更改。

2.3 DDL语句行为的更改

本节介绍由于引入原子DDL支持而导致的DDL语句行为的变化

2.3.1 DROP TABLE

如果所有命名表都使用原子DDL支持的存储引擎,则DROP TABLE操作是完全原子的。该语句要么成功删除所有表,要么回滚。

如果命名表不存在,并且不进行任何更改(无论存储引擎如何),则DROP TABLE将失败并返回错误。下面的示例演示了这种行为变化,其中DROP TABLE语句由于不存在命名表而失败:

mysql> CREATE TABLE t1 (c1 INT);
mysql> DROP TABLE t1, t2;
ERROR 1051 (42S02): Unknown table 'test.t2'
mysql> SHOW TABLES;
+----------------+
| Tables_in_test |
+----------------+
| t1             |
+----------------+

在引入原子DDL之前,DROP TABLE会为不存在的表报告错误,但为存在的表报告成功:

mysql> CREATE TABLE t1 (c1 INT); 
mysql> DROP TABLE t1, t2; 
ERROR 1051 (42S02): Unknown table 'test.t2' 
mysql> SHOW TABLES; 
Empty set (0.00 sec)

博主PS:这块好理解,就是没有DDL原子语义之前,你执行一条需要操作两个表的sql时,就算有个表因为不存在而失败了,对另外一个表的操作也会成功,可以看见示例中,虽然t2

表不存在报错了,t1表也被删除了。这种就是非原子性的。

注意:
由于此行为变化,在MySQL 5.7复制源服务器上部分完成的DROP TABLE语句在MySQL 8.0复制副本上复制时失败。为了避免这种失败情况,请在DROP TABLE语句中使用IF EXISTS语法,以防止不存在的表出现错误

2.3.2 DROP DATABASE

如果所有表都使用原子DDL支持的存储引擎,那么DROP DATABASE就是原子数据库。该语句要么成功删除所有对象,要么回滚。但是,从文件系统中删除数据库目录是最后一次,并且不是原子操作的一部分。如果由于文件系统错误或服务器停止而导致数据库目录删除失败,则DROP database事务不会回滚

2.3.2 DROP DATABASE

对于使用不支持DDL的原子存储引擎的表,表删除发生在原子DROP table或DROP DATABASE事务之外。这样的表删除被单独写入二进制日志(Binlog),这将在DROP table或DROP DATABASE操作中断的情况下,存储引擎、数据字典和二进制日志之间的数据差异限制为最多一个表。对于删除多个表的操作,使用不支持DDL原子存储引擎的表会先删除,然后再删除支持的。

2.4 存储引擎支持

使用原子DDL支持的存储引擎的表的语句:

2.4.1 孤立文件

CREATE TABLE、ALTER TABLE、RENAME TABLE、TRUNCATE TABLE、CREATE TABLESPACE和DROP TABLESPACE操作将完全提交,或者在服务器运行期间停止时回滚。

在早期的MySQL版本中,这些操作的中断可能会导致存储引擎、数据字典和二进制日志之间的差异,或者留下孤立文件。

如果所有表都使用原子DDL支持的存储引擎,RENAME TABLE操作才为原子操作。

2.4.2 基于行的复制

从MySQL 8.0.21开始,在支持原子DDL的存储引擎上,CREATE TABLE....SELECT 当使用基于行的复制时,SELECT语句作为一个事务记录在二进制日志中

以前,它被记录为两个事务,一个用于创建表,另一个用于插入数据。两个事务之间的服务器故障或插入数据时的服务器故障可能导致空表的复制。

随着原子DDL支持的引入,CREATE TABLE...SELECT语句现在对于基于行的复制是安全的,并且允许与基于GTID的复制一起使用。

2.4.3 外键约束

在同时支持原子DDL外键约束的存储引擎上,使用基于行的复制时的SELECT语句不允许在CREATE TABLE....SELECT 中创建外键。可以使用ALTER TABLE添加外键约束。

当CREATE TABLE...SELECT作为一个原子操作应用,在插入数据时会在表上保留元数据锁从而在操作期间防止对表的并发访问

2.4.4 视图

如果命名视图不存在并且未进行任何更改,则DROP VIEW将失败。此示例演示了行为的更改,其中DROP VIEW语句由于不存在命名视图而失败:

mysql> CREATE VIEW test.viewA AS SELECT * FROM t;
mysql> DROP VIEW test.viewA, test.viewB;
ERROR 1051 (42S02): Unknown table 'test.viewB'
mysql> SHOW FULL TABLES IN test WHERE TABLE_TYPE LIKE 'VIEW';
+----------------+------------+
| Tables_in_test | Table_type |
+----------------+------------+
| viewA          | VIEW       |
+----------------+------------+

 博主PS:这里和上文提到的对多个表的DDL操作会回滚一个道理

在引入原子DDL之前,DROP VIEW会为不存在的命名视图返回一个错误,但会为存在的命名查看返回成功:

mysql> CREATE VIEW test.viewA AS SELECT * FROM t;
mysql> DROP VIEW test.viewA, test.viewB;
ERROR 1051 (42S02): Unknown table 'test.viewB'
mysql> SHOW FULL TABLES IN test WHERE TABLE_TYPE LIKE 'VIEW';
Empty set (0.00 sec)

注意:
由于此行为变化,在MySQL 5.7复制源服务器上部分完成的DROP VIEW操作在MySQL 8.0复制副本上复制时失败。为了避免这种失败情况,请在DROP VIEW语句中使用IF EXISTS语法,以防止不存在的视图发生错误。

不再允许部分执行帐户管理报表。帐户管理语句要么对所有命名用户成功,要么回滚,如果发生错误则无效。在早期的MySQL版本中,命名多个用户的帐户管理语句可能对某些用户成功,对其他用户失败。

此示例演示了行为的更改,其中第二个CREATE USER语句返回一个错误,但由于无法对所有命名用户成功,因此失败。

mysql> CREATE USER userA;
mysql> CREATE USER userA, userB;
ERROR 1396 (HY000): Operation CREATE USER failed for 'userA'@'%'
mysql> SELECT User FROM mysql.user WHERE User LIKE 'user%';
+-------+
| User  |
+-------+
| userA |
+-------+

在引入原子DDL之前,第二个CREATE USER语句为不存在的命名用户返回一个错误,但为存在的指定用户返回成功:

mysql> CREATE USER userA;
mysql> CREATE USER userA, userB;
ERROR 1396 (HY000): Operation CREATE USER failed for 'userA'@'%'
mysql> SELECT User FROM mysql.user WHERE User LIKE 'user%';
+-------+
| User  |
+-------+
| userA |
| userB |
+-------+

注意:
由于这种行为的变化,在MySQL 5.7复制源服务器上部分完成的帐户管理语句在MySQL 8.0复制副本上复制时会失败。为了避免这种失败情况,请在帐户管理语句中酌情使用IF EXISTS或IF NOT EXISTS语法,以防止出现与命名用户相关的错误。

目前,只有InnoDB存储引擎支持原子DDL。不支持原子DDL的存储引擎不受DDL原子性的约束。涉及不支持原子DDL的存储引擎的DDL操作仍然能够引入操作中断或仅部分完成时可能出现的不一致。

2.4.5 innodb_ddl_log

为了支持DDL操作的重做和回滚,InnoDB将DDL日志写入 mysql.innodb_ddl_log 表,这是一个隐藏的数据字典表,位于mysql.ibd数据字典表空间中。

要查看在DDL操作期间写入mysql.innodb_DDL_log表的DDL日志,请启用innodb_print_ddl_logs配置选项。有关详细信息,请参阅查看DDL日志。

注意:
无论innodb_flush_log_at_trx_commit设置如何,mysql.innodb_ddl_log表更改的重做日志都会立即刷新到磁盘。立即刷新redolog可以避免DDL操作修改数据文件,但这些操作导致的对mysql.innodb_ddl_log表的更改的重做日志不会持久化到磁盘。这种情况可能会在回滚或恢复过程中导致错误

2.4.6 执行DDL操作

InnoDB存储引擎分阶段执行DDL操作。DDL操作(如ALTER TABLE)可以在提交阶段之前多次执行准备和执行阶段。

准备:创建所需的对象,并将DDL日志写入mysql.innodb_ddl_log表。DDL日志定义了如何前滚和后滚DDL操作。

执行:执行DDL操作。例如,为CREATE TABLE操作执行创建例程

提交:更新数据字典提交数据字典事务

发布DDL:从mysql.innodb_ddl_log表中回放并删除DDL日志。为了确保在不引入不一致的情况下安全地执行回滚,在最后阶段执行文件操作,如重命名或删除数据文件。此阶段还从mysql.innodb_dynamic_metadata数据字典表中删除DROP table、TRUNCATE table和其他重建该表的DDL操作的动态元数据

在后DDL阶段,无论DDL操作是提交还是回滚,都会重播DDL日志,并从mysql.innodb_ddl_log表中删除DDL日志。如果服务器在DDL操作期间停止,则DDL日志应仅保留在mysql.innodb_ddl_log表中。在这种情况下,DDL日志会在恢复后重播并删除。

在系统恢复情况下,当服务器重新启动时,DDL操作可能会被提交或回滚。如果在DDL操作的提交阶段执行的数据字典事务存在于重做日志(redolog)二进制日志(binlog)中,则该操作被视为成功并向前滚动。否则,当InnoDB回放数据字典重做日志时,会回滚不完整的数据字典事务,并回滚DDL操作。

2.5 查看DDL日志

要查看在涉及innodb存储引擎的原子DDL操作期间写入mysql.innodb_ddl_log数据字典表的DDL日志,请启用innodb_print_ddl_logs,让mysql将DDL日志写入stderr。根据主机操作系统和MySQL配置的不同,stderr可能是错误日志终端控制台窗口。参见第7.4.2.2节“默认错误日志目标配置”。

InnoDB将DDL日志写入mysql.innodb_ddl_log表,以支持DDL操作的重做和回滚。mysql.innodb_ddl_log表是一个隐藏的数据字典表,位于mysql.ibd数据字典表空间中。与其他隐藏数据字典表一样,在mysql的非调试版本中,不能直接访问mysql.innodb_ddl_log表。(参见第16.1节“数据字典模式”。)mysql.innodb_ddl_log表的结构对应于此定义:

CREATE TABLE mysql.innodb_ddl_log (id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,thread_id BIGINT UNSIGNED NOT NULL,type INT UNSIGNED NOT NULL,space_id INT UNSIGNED,page_no INT UNSIGNED,index_id BIGINT UNSIGNED,table_id BIGINT UNSIGNED,old_file_path VARCHAR(512) COLLATE utf8mb4_bin,new_file_path VARCHAR(512) COLLATE utf8mb4_bin,KEY(thread_id)
);

各字段解析

id:DDL日志记录的唯一标识符。

thread_id:为每个DDL日志记录分配一个thread_id,用于重播和删除属于特定DDL操作的DDL日志。涉及多个数据文件操作的DDL操作会生成多个DDL日志记录。

type:DDL操作类型。类型包括FREE(删除索引树)、DELETE(删除文件)、RENAME(重命名文件)或drop(从mysql.innodb_dynamic_metadata数据字典表中删除元数据)。

space_id:表空间id。

page_no:包含分配信息的页面;例如索引树根页面。

index_id:索引id。

table_id:表id。

old_file_path:旧的表空间文件路径。用于创建或删除表空间文件的DDL操作;也用于重命名表空间的DDL操作。

new_file_path:新的表空间文件路径。由重命名表空间文件的DDL操作使用。


 此示例演示如何启用innodb_print_ddl_logs来查看为CREATE TABLE操作写入strderr的ddl日志。

mysql> SET GLOBAL innodb_print_ddl_logs=1;
mysql> CREATE TABLE t1 (c1 INT) ENGINE = InnoDB;
[Note] [000000] InnoDB: DDL log insert : [DDL record: DELETE SPACE, id=18, thread_id=7,
space_id=5, old_file_path=./test/t1.ibd]
[Note] [000000] InnoDB: DDL log delete : by id 18
[Note] [000000] InnoDB: DDL log insert : [DDL record: REMOVE CACHE, id=19, thread_id=7,
table_id=1058, new_file_path=test/t1]
[Note] [000000] InnoDB: DDL log delete : by id 19
[Note] [000000] InnoDB: DDL log insert : [DDL record: FREE, id=20, thread_id=7,
space_id=5, index_id=132, page_no=4]
[Note] [000000] InnoDB: DDL log delete : by id 20
[Note] [000000] InnoDB: DDL log post ddl : begin for thread id : 7
[Note] [000000] InnoDB: DDL log post ddl : end for thread id : 7

 可以理解为strderr为操作mysql.innodb_ddl_log表的输出,而mysql.innodb_ddl_log表为DDL的逻辑日志。回看上文这段话

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/839062.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

知乎广告推广开户最低需要多少钱?

精准高效的广告推广,是企业成功的关键,知乎作为知识分享与交流的高端平台,汇聚了大量高质量用户群体,无疑是品牌传播与产品推广的黄金之地。云衔科技作为您数字营销旅程中的得力伙伴,正以专业的知乎广告开户及代运营服…

快速搭建本地全文搜索

MeiliSearch 说起全文检索,在项目开发中,用的最多的就是 ElaticSearch 了,ElaticSearch 是基于 Apache Lucene 开发的全文检索服务,是一个端到端的解决方案,因此,部署和维护都非常复杂。今天介绍的这个全文…

如何在go项目中实现发送邮箱验证码、邮箱+验证码登录

前期准备 GoLand :2024.1.1 下载官网:https://www.jetbrains.com/zh-cn/go/download/other.html Postman: 下载官网:https://www.postman.com/downloads/ 效果图(使用Postman) Google: QQ: And …

创建vue工程、Vue项目的目录结构、Vue项目-启动、API风格

环境准备 介绍:create-vue是Vue官方提供的最新的脚手架工具,用于快速生成一个工程化的Vue项目create-vue提供如下功能: 统一的目录结构 本地调试 热部署 单元测试 集成打包依赖环境:NodeJS 安装NodeJS 一、 创建vue工程 npm 类…

自定义横向思维导图,横向组织架构图,横向树图。可以自定义节点颜色,样式,还可以导出为图片

最近公司设计要求根据目录结构,横向展示。所以做了一个横向的思维导图,横向的树结构,横向的组织架构图,可以自定义节点颜色,样式,还可以导出为图片 话不多说,直接上图片,这个就是一…

使用redis优化纯真IP库访问

每次请求都需要加载10m的纯真IP qqwry.dat 文件,自己测试不会发现问题,但如果访问量上去了,会影响每次请求的相应效率,并且会消耗一定的io读写,故打算优化 优化方案 每个IP区间之间不存在交集,每个查找只要…

【python】python省市水资源数据分析可视化(源码+数据)【独一无二】

👉博__主👈:米码收割机 👉技__能👈:C/Python语言 👉公众号👈:测试开发自动化【获取源码商业合作】 👉荣__誉👈:阿里云博客专家博主、5…

2024年失业率狂飙18.1%,史上最难就业季即将来临,该如何逆袭?_2024年失业潮

【2024年被称为最难就业年,1158万大学生面临难题】 距离2024年毕业季还剩不到4个月,毕业学员将面临空前严峻的就业压力!具国家统 计局的数据显示,1-2月份,16至24岁年轻人的失业率飙到18.1%,也就是说&…

微服务:利用RestTemplate实现远程调用

打算系统学习一下微服务知识,从今天开始记录。 远程调用 调用order接口,查询。 由于实现还未封装用户信息,所以为null。 下面我们来使用远程调用用户服务的接口,然后封装一下用户信息返回即可。 流程图 配置类中注入RestTe…

文心一言 VS 讯飞星火 VS chatgpt (265)-- 算法导论20.1 4题

四、假设不使用一棵叠加的度为 u \sqrt{u} u ​ 的树,而是使用一棵叠加的度为 u 1 k u^{\frac{1}{k}} uk1​的树,这里 k 是大于 1 的常数,则这样的一棵树的高度是多少?又每个操作将需要多长时间?如果要写代码&#xf…

模板中的右值引用(万能引用)、引用折叠与完美转发

模板中的右值引用(万能引用)、引用折叠与完美转发 文章目录 模板中的右值引用(万能引用)、引用折叠与完美转发一、万能引用与引用折叠1. 模板中的右值引用2. 自动类型推导(auto)与万能引用3. 引用折叠与万能引用4. lambda表达式捕…

数据可视化第十天(爬虫爬取某瓣星际穿越电影评论,并且用词云图找出关键词)

开头提醒 本次爬取的是用户评论,只供学习使用,不会进行数据的传播。希望大家合法利用爬虫。 获得数据 #总程序 import requests from fake_useragent import UserAgent import timefuUserAgent()headers{User-Agent:fu.random }page_listrange(0,10) …

音视频入门基础:像素格式专题(3)——FFmpeg源码解析BMP格式图片的底层实现原理

音视频入门基础:像素格式专题系列文章: 音视频入门基础:像素格式专题(1)——RGB简介 音视频入门基础:像素格式专题(2)——不通过第三方库将RGB24格式视频转换为BMP格式图片 音视频…

人工智能+量子计算:飞跃现实边界还是科技幻想?

人工智能量子计算,这是一种可能改变世界的伙伴关系。 在科技的前沿,两大革命性技术——人工智能(AI)和量子计算——正站在合作的十字路口。人工智能,以其强大的数据分析能力和模式识别,正在改变着我们生活…

传感器通过Profinet转Modbus网关与PLC通讯在生产线的应用

Profinet转Modbus(XD-MDPN100/300)网关可视作一座桥梁,能够实现Profinet协议与Modbus协议相互转换,支持Modbus RTU主站/从站,并且Profinet转Modbus网关设备自带网口和串口,既可以实现协议的转换&#xff0c…

Mac虚拟机工具 CrossOver 24.0.0 Beta3 Mac中文版

CrossOver是一款在Mac上运行Windows应用程序的软件,无需安装虚拟机或重启计算机,简化了操作过程,提高了工作效率,为用户带来便捷体验。前往Mac青桔下载,享受前所未有的便利和高效。摘要由作者通过智能技术生成 CrossOv…

robosuite导入自定义机器人

目录 目的:案例一:成果展示具体步骤:URDF文件准备xml文件生成xml修改机器人构建 目的: 实现其他标准/非标准机器人的构建 案例一: 成果展示 添加机器人JAKA ZU 7 这个模型 具体步骤: URDF文件准备 从…

python-docx 在word中指定位置插入图片或表格

docx库add_picture()方法不支持对图片位置的设置 1、新建一个1行3列的表格,在中间的一列中插入图片 from docx import Document from docx.shared import Pt from docx.oxml.shared import OxmlElement from docx.enum.text import WD_ALIGN_PARAGRAPHdef add_cen…

Nacos 进阶篇---Nacos服务端怎么维护不健康的微服务实例 ?(七)

一、引言 在 Nacos 后台管理服务列表中,我们可以看到微服务列表,其中有一栏叫“健康实例数” (如下图),表示对应的客户端实例信息是否可用状态。 那Nacos服务端是怎么感知客户端的状态是否可用呢 ? 本章…