MySQL 回收表碎片实践教程

前言:

在 MySQL 数据库中,随着数据的增删改操作,表空间可能会出现碎片化,这不仅会占用额外的存储空间,还可能降低表的扫描效率,特别是一些大表,在进行数据清理后会产生大量的碎片。本篇文章我们一起来学习下如何进行碎片回收以及相关注意点。

查看表碎片大小

一般 MySQL 数据库都是开启 innodb_file_per_table 参数的,这代表每个表使用独立的表空间,即每个表的数据及索引存储在一个独立的 表名.ibd 文件里,如果某个表有大量碎片,ibd 文件占用磁盘空间会非常大,碎片回收掉后 ibd 文件也会显著减小。

首先我们要确定哪些表需要进行回收碎片操作,MySQL 系统表 information.TABLES 中的 DATA_FREE 字段显示的是可用的空闲空间量(单位:字节),它可以帮助你估计碎片的程度,如果 DATA_FREE 很大,那么这个表的碎片量一般也比较大。

如果某个表比较大或者变动特别频繁,你可以看下这个表的 DATA_FREE 大小,看是否需要回收碎片,也可以从系统表中筛选出碎片量大于 100M 的表或者碎片率达到多少的表,这类表一般是需要进行碎片回收的。下面几条查询 SQL 可能对你有所帮助:

# 查看某个表的详细信息(包含碎片大小)
select 
table_schema as '数据库',
TABLE_NAME as '表名',
sys.FORMAT_BYTES(data_length) as '数据容量',
sys.FORMAT_BYTES(index_length) as '索引容量',
sys.FORMAT_BYTES(data_length+index_length) as '总容量' ,
sys.FORMAT_BYTES(DATA_FREE) as '碎片大小'
from information_schema.tables where TABLE_SCHEMA = 'db_name' and TABLE_NAME = 'tb_name';# 按碎片大小排序
SELECT t.TABLE_SCHEMA,t.TABLE_NAME,t.DATA_FREE,sys.FORMAT_BYTES(DATA_LENGTH+INDEX_LENGTH) as '总容量' ,sys.FORMAT_BYTES(DATA_FREE) as '碎片大小'
FROM information_schema.tables t
WHEREt.table_schema NOT IN ('mysql','information_schema','performance_schema','sys')
AND t.table_type = 'BASE TABLE' ORDER BY `DATA_FREE` DESC LIMIT 20# 查看碎片率大于0.3的表
select 
table_schema as '数据库',
TABLE_NAME as '表名',
sys.FORMAT_BYTES(DATA_LENGTH+INDEX_LENGTH) as '总容量' ,
sys.FORMAT_BYTES(DATA_FREE) as '碎片大小',
(DATA_FREE / (data_length + index_length)) AS '碎片率'
FROM information_schema.tables t
WHEREt.table_schema NOT IN ('mysql','information_schema','performance_schema','sys') AND t.table_type = 'BASE TABLE' and (DATA_FREE / (data_length + index_length)) > 0.3

以上三条 SQL 基本能覆盖日常所需场景,想要回收表碎片的话,可以按照不同场景执行相关 SQL 来查找,比如是想回收碎片比较多的表还是碎片率比较大的表。找到需要回收碎片的表后,下一步就是评估进行正式回收碎片操作了。

回收表碎片

对于 InnoDB 存储引擎的表,可以用 optimize table table_name; 或者 alter table table_name engine = innodb; 两种方式进行回收。

OPTIMIZE TABLE 对于 InnoDB 表来说,实际上会执行一个重建表的操作,这与 ALTER TABLE … FORCE 类似。这个过程会重新组织表的数据和索引,更新索引统计信息,并释放聚簇索引中未使用的空间。它可以在一定程度上减少表占用的空间,并提高访问表时的 IO 效率。OPTIMIZE TABLE 对于常规的和分区的 InnoDB 表使用 online DDL ,这减少了并发的 DML 操作的停机时间。OPTIMIZE TABLE 仅在操作的准备阶段和提交阶段短暂地获取独占的表锁,在准备阶段,元数据会被更新并且创建一个中间表,在提交阶段,将提交表元数据更改。

ALTER TABLE … ENGINE = InnoDB 命令实际上是将表的存储引擎重新设置为 InnoDB 。在这个过程中,MySQL 会对表进行重建,会回收掉未使用的空间。在 5.6 及以后的版本中,这个操作会使用 Online DDL ,减少对并发 DML 操作的影响。它通过创建一个临时文件,扫描表的数据页,并将操作记录在日志文件中,最后将临时文件替换原表的数据文件。此方法只适用于 InnoDB 引擎表。

总的来说,两者都可以用于整理 InnoDB 表的碎片,但是 OPTIMIZE TABLE 更侧重于专门的碎片整理和空间回收,还可以用于其他存储引擎。而 ALTER TABLE … ENGINE=InnoDB 主要是更改存储引擎属性时附带的一些空间优化。在实际使用中,可以根据具体情况选择合适的方式来回收 InnoDB 表的空间。

需要注意的一点是,尽管二者操作都是 Online DDL ,但回收操作还是尽量在业务低峰期执行,特别是大表,回收操作还是需要一段时间的。除此之外,要确保有足够的磁盘空间进行回收操作,因为执行期间会生成临时文件,进一步占用磁盘空间,执行完成后才会删除临时文件。例如你要对一个 200G 的表进行回收操作,预估能回收掉 50G 碎片,则要确保磁盘空间至少剩余 150G,一般建议剩余空间在表大小以上。如果你的磁盘剩余空间不足则无法完成回收操作。

总结:

本篇文章介绍了如何查看 InnoDB 表的碎片以及如何进行回收。生产环境中,建议定期巡检 MySQL 系统中的表碎片,并在业务低峰期执行回收操作。回收表碎片是一种良好的数据库维护实践,可以提高数据库查询性能,同时也可以提高存储效率和管理简便性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/58174.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

高并发-负载均衡

负载均衡在微服务架构中是一个重要的组成部分,旨在优化资源利用、提高服务可用性和确保系统的高可扩展性。以下是对微服务中的负载均衡的详细介绍,包括其原理、类型、实现方式以及相关的技术。 一、负载均衡的原理 负载均衡的基本原理是将进入系统的请…

Lesson11---stack

Lesson11—stack cstack的介绍使用以及模拟实现 文章目录 Lesson11---stack前言一、stack成员函数1.stack2.empty3.size4. top5.push6.pop 二、stack相关题目1. 最小栈2.栈的压入、弹出序列 三、模拟实现总结 前言 stack的介绍和使用stack是一种容器适配器,专门用…

B+树(B树的改进)

目录 一、什么是B树? 二、B树的性质 1.B树被广泛作为数据库索引的索引结构 2.m个分支的结点有m个元素 3.每个元素对应子结点最大值 4.多级索引结构 5.叶子结点层包含所有元素 三、B树和B树的区别 四、B树的查找 1.顺序查找 2.随机查找 3.范围查找 一、什…

vue3完整Demo(数据绑定,数据显示,数据修改,数据提交)

需要引入的的依赖:jquery(用于异步请求) 一、数据显示的前端页面 条件查询数据并显示,下拉框使用的model双向绑定 二、js代码(list页面的数据请求) 后端传来的时间数据需要转换可以使用new Intl.DateTim…

Vue3 学习笔记(七)Vue3 语法-计算属性 computed详解

#1024程序员节|征文# 1、计算属性 computed 在 Vue.js 中,计算属性(computed properties)是一种特殊的响应式属性,它们根据依赖的响应式数据自动更新。计算属性非常适合用于当你需要根据现有数据派生出一些状态时。 (1)、基本用法…

【牛客算法】某司面试算法题:找出最长山脉的长度

文章目录 一、题目1.1 题目描述1.2 示例11.2 示例21.3 提供的代码 二、如何完成这个算法题?2.1 解题思路解释复杂度 一、题目 1.1 题目描述 给定一个长度为 n 的正整数数组,每个元素表示一座山的高度。 其中满足以下条件的连续子数组称为山脉&#xf…

LLM | 论文精读 | NeurIPS 2023 | SWIFTSAGE: 结合快思考与慢思考的生成智能体

论文标题:SWIFTSAGE: A Generative Agent with Fast and Slow Thinking for Complex Interactive Tasks 作者:Bill Yuchen Lin, Yicheng Fu, Karina Yang, Faeze Brahman, Shiyu Huang, Chandra Bhagavatula, Prithviraj Ammanabrolu, Yejin Choi, Xian…

【Vue3】第二篇

Vue3学习第二篇 01. 事件处理02. 事件传参03. 事件修饰符04. 数组变化侦测05. 计算属性06. class绑定07. style绑定08. 侦听器09. 表单输入绑定10. 模板引用 01. 事件处理 在vue当中的事件处理和html、css中的不一样,它单独做了处理。 注意:用法中只是用…

【Android】浅析OkHttp(1)

【Android】浅析OkHttp(1) OkHttp 是一个高效、轻量级的 HTTP 客户端库,主要用于 Android 和 Java 应用开发。它不仅支持同步和异步的 HTTP 请求,还支持许多高级功能,如连接池、透明的 GZIP 压缩、响应缓存、WebSocke…

JUC并发编程面试题总结

文章目录 1、创建线程的三种方式2、线程的状态3、线程的上下文切换4、run和start的区别5、sleep和wait区别6、虚假唤醒,精确唤醒7、两阶段终止模式8、多线程下的线程安全问题9、如何解决线程安全问题10、synchornized的原理11、锁升级的机制12、锁消除13、批量重偏向…

Unity编辑器制作多级下拉菜单

Unity编辑器下拉菜单 大家好,我是阿赵。   在Unity引擎里面编写工具插件,有时候会用到一些特殊的菜单形式,比如下拉选项。 通过下拉菜单,给用户选择不同的选项。   如果只是一层的下拉列表,可以用EditorGUILayout.…

C++二级题 计算好数:1数大于0数(二进制的位运算)

1、题目 若将一个正整数化为二进制数,在此二进制数中,我们将数字1的个数多于数字0的个数的这类二进制数称为好数。 例如: (13)10 (1101)2,其中1的个数为3,0的个数为1,则此数是好数; (10)10 (1…

Nginx upstream

什么是Nginx upstream? Nginx 模块一般分为三大类:handler、filter和upstream。 利用 handler、filter 这两个模块,可以使 Nginx 轻松完成任何单机工作。 upstream 模块将使 Nginx 跨越单机的限制,完成网络数据的接收、处理和转…

【数学二】常微分方程-一阶微分方程

考试要求 1、了解微分方程及其阶、解、通解、初始条件和特解等概念. 2、掌握变量可分离的微分方程及一-阶线性微分方程的解法,会解齐次微分方程. 3、会用降阶法解下列形式的微分方程: y ( n ) f ( x ) , y ′ ′ f ( x , y ′ ) y^{(n)}f(x),y^{}f(x,y^{}) y(n)f(x),y′′f(…

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-23

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-23 目录 文章目录 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-23目录1. Advancements in Visual Language Models for Remote Sensing: Datasets, Capabilities, and Enhancement Techniques摘…

git restore恢复删除文件

新版本 在 Git 2.23 版本之后,Git 引入了一个新的命令 git restore,用于简化文件恢复操作。可以用 git restore 来恢复误删除的文件。下面是详细的使用方法: 1. 恢复工作区中删除的文件(未提交) 如果文件已被删除&a…

对角双差速轮AGV平移、直行、转弯、原地旋转案例

在对角两对双差速轮 AGV(自动导引车)中,车辆配置了两对差速轮,分别安装在左前(Front Left,FL)和右后(Rear Right,RR)。这种配置使得 AGV 具有较高的机动性,可以实现平移、直行、转弯和原地旋转等复杂运动 2. 运动学模型 2.1 定义变量 车辆参数: r:车轮半径(米…

flask服务通过gunicorn启动

使用 Gunicorn 启动 Flask 服务通常可以提升 Flask 应用的性能。以下是通过 Gunicorn 启动 Flask 服务的步骤: 1. 安装依赖 首先,确保已安装 Flask 和 Gunicorn: pip install flask gunicorn2. 创建 Flask 应用 创建一个简单的 Flask 应用…

IPV6扩展头部

IPv6扩展头部(Extension Header)是一种用于在IPv6数据包中添加额外信息和功能的结构。与IPv4相比,IPv6的头部设计简化了基本头部,使其更灵活。扩展头部用于提供各种功能,如路由、分片、流量控制等。扩展头部的使用使得…

安全知识见闻-网络安全热门证书

一、OSCP(Offensive Security Certified Professional) 1. 证书介绍 2.考点 3.部分考试要求 4.练习方法 二、OSEP(Offensive Security Exploit Developer) 1.证书介绍 2.考点 3.练习方法 三、CISSP(Certified lnformation Systems Security Professional&a…