解析 MySQL 数据库容量统计、存储限制与优化技巧

  管理 MySQL 数据库时,了解数据库中的数据量和存储占用情况是非常重要的,尤其是在面对大规模数据时。无论是为了优化数据库性能,还是为了进行容量规划,准确地统计数据库的容量可以帮助我们做出更好的决策。mysql的客户端工具是Navicat和heidisql。

  本文介绍如何通过 MySQL 自带的 information_schema 表来统计数据库和表的存储容量,并探讨 MySQL 存储能力的限制和优化方法 ,包括:

1. 如何统计所有数据库的容量
2. 如何统计某个数据库下的所有表的容量
3. 如何统计某个表的容量
4. MySQL 存储引擎、文件系统和硬件的限制
5. 如何优化大规模数据存储
6. 行和列的大小限制
7. MySQL 版本的区别

1.为什么需要统计数据库容量?

定期监控数据库的存储使用情况非常重要,原因包括:

  • 防止过度使用存储空间:当数据库存储达到硬盘容量的上限时,数据库性能会下降,甚至可能导致崩溃。
  • 优化性能:了解数据和索引的大小可以帮助做出优化决策,比如是否需要对表进行分区或归档历史数据。
  • 容量规划:通过定期监控数据库容量,可以为未来的硬件升级或存储扩展做出合理的规划。

2.MySQL 中的 `information_schema.tables`

  MySQL 提供了一个名为 information_schema.tables 的系统表,它包含了所有数据库的元数据,包括表的记录数、数据大小、索引大小等。可以利用这个表来统计数据库和表的容量。

information_schema.tables 中的关键字段:

  • table_schema:表示数据库名称。
  • table_name:表示表名称。
  • table_rows:表示表中的记录数量(近似值)。
  • data_length:表示表数据的存储大小(以字节为单位)。
  • index_length:表示表索引的存储大小(以字节为单位)。
  • data_length + index_length:表示表的总存储大小(数据和索引的总和)。

3.容量计算单位介绍

  在计算和显示 MySQL 数据库或表的容量时,数据的存储大小通常是以字节为单位存储的。为了容易阅读和理解,通常会将这些字节转换为更常见的单位,如 KB、MB 或 GB。

以下是常见存储单位的换算关系:

  • 1 KB (Kilobyte) = 1024 字节
  • 1 MB (Megabyte) = 1024 KB = 1024 * 1024字节
  • 1 GB (Gigabyte) = 1024 MB = 1024 * 1024 * 1024 字节

本文把数据大小转换为 MB(兆字节)。


4. 统计所有数据库的容量

  为了统计每个数据库的容量,我们可以编写一个 SQL 查询,将所有表的 `data_length` 和 `index_length` 汇总,并将结果转换为 MB。以下是一个统计每个数据库的记录数、数据容量、索引容量及总容量的查询示例:
SELECT table_schema AS "数据库", SUM(table_rows) AS '记录数',ROUND(SUM(data_length) / 1024 / 1024, 2) AS '数据容量(MB)',ROUND(SUM(index_length) / 1024 / 1024, 2) AS '索引容量(MB)',ROUND(SUM(data_length + index_length) / 1024 / 1024, 2) AS '总容量(MB)'
FROM information_schema.tables 
GROUP BY table_schema;

查询结果分析:

  • 数据库:每个数据库的名称。
  • 记录数:每个数据库中所有表的记录总数(近似值)。
  • 数据容量(MB):每个数据库中所有表的数据总大小,单位为 MB。
  • 索引容量(MB):每个数据库中所有表的索引总大小,单位为 MB。
  • 总容量(MB):每个数据库的总存储容量(数据和索引的总和),单位为 MB。

输出:

数据库记录数数据容量(MB)索引容量(MB)总容量(MB)
employees150,000450.00120.00570.00
sales3,500,00022,870.0015,340.0038,210.00
test_db1001.001.002.00

5. 统计某个数据库下所有表的容量

  统计某个指定数据库中所有表的存储容量,通过 WHERE 子句指定数据库名。以下是针对某个数据库(例如 my_database)的查询:

SELECT table_name AS "表名",table_rows AS "记录数",ROUND(data_length / 1024 / 1024, 2) AS "数据容量(MB)",ROUND(index_length / 1024 / 1024, 2) AS "索引容量(MB)",ROUND((data_length + index_length) / 1024 / 1024, 2) AS "总容量(MB)"
FROM information_schema.tables 
WHERE table_schema = 'my_database'
ORDER BY table_name;

查询结果分析:

  • 表名:每个表的名称。
  • 记录数:表中的记录数(近似值)。
  • 数据容量(MB):表中数据的大小,单位为 MB。
  • 索引容量(MB):表中的索引占用空间,单位为 MB。
  • 总容量(MB):表的总存储容量(数据和索引的总和),单位为 MB。

输出:

表名记录数数据容量(MB)索引容量(MB)总容量(MB)
employees150,000450.00120.00570.00
salaries500,0001,250.00750.002,000.00
departments121.001.002.00

6. 统计某个表的容量

  如果想要查看某个特定表的存储容量,可以在 WHERE 子句中同时指定数据库名和表名。以下是针对某个表(例如 my_table,在 my_database 数据库中)的查询:

SELECT table_name AS "表名",table_rows AS "记录数",ROUND(data_length / 1024 / 1024, 2) AS "数据容量(MB)",ROUND(index_length / 1024 / 1024, 2) AS "索引容量(MB)",ROUND((data_length + index_length) / 1024 / 1024, 2) AS "总容量(MB)"
FROM information_schema.tables 
WHERE table_schema = 'my_database' 
AND table_name = 'my_table';

查询结果分析:

  • 表名:指定的表名。
  • 记录数:表中的记录数(近似值)。
  • 数据容量(MB):表中数据的大小,单位为 MB。
  • 索引容量(MB):表中的索引占用空间,单位为 MB。
  • 总容量(MB):表的总存储容量(数据和索引的总和),单位为 MB。

输出:

表名记录数数据容量(MB)索引容量(MB)总容量(MB)
my_table150,000450.00120.00570.00

7. 行和列的大小限制

  MySQL 的存储不仅受数据库和表的整体容量限制,还受单个行和列的数据存储限制。了解这些限制对于合理设计数据库架构、优化性能至关重要。不同 MySQL 版本和存储引擎(如 InnoDB 和 MyISAM)对行和列的大小限制有所不同。

1. 行的大小限制

  • InnoDB 存储引擎:InnoDB 单行最大存储大小为 65,535 字节(约 64 KB),这一限制包括了所有列的总大小(不包括 LOB 类型)。对于 TEXTBLOB 等大对象,它们的实际数据存储在外部,而行内只存储指针,因此不受行大小的直接限制。
  • MyISAM 存储引擎:MyISAM 存储引擎对单行的最大大小与 InnoDB 类似,也是 65,535 字节(约 64 KB)。不过,MyISAM 允许更灵活的索引和压缩表。

2. 列的大小限制

  • VARCHAR 列:在 MySQL 5.7 及更高版本中,VARCHAR 列的最大长度为 65,535 字节。但由于行的总大小限制,VARCHAR 实际可用的最大长度会更小,特别是当表中有多个大字段时。
  • TEXT 和 BLOB 列:对于存储大数据,MySQL 提供了 TEXTBLOB 类型。它们的存储限制如下:
    • TINYTEXT / TINYBLOB:最大大小 255 字节。
    • TEXT / BLOB:最大大小 65,535 字节(64 KB)。
    • MEDIUMTEXT / MEDIUMBLOB:最大大小 16,777,215 字节(16 MB)。
    • LONGTEXT / LONGBLOB:最大大小 4,294,967,295 字节(4 GB)。

3. 列和行大小的设计建议

  • 尽量避免单行包含过多的列:由于行有 64 KB 的大小限制,包含大量大字段(如 BLOBTEXT)的表可能会导致性能下降,甚至无法插入数据。可以考虑将大字段拆分到单独的表中。
  • 使用合适的数据类型:对于字符串数据,合理选择 VARCHARTEXTBLOB 类型。不要使用超过实际需要的字段长度,这样可以节省存储空间并提高查询性能。

8. MySQL 版本的区别

  不同 MySQL 版本对存储限制的支持有所不同。以下是一些主要版本的区别:

1. MySQL 5.6

  • InnoDB 的行大小限制:单行最大大小为 64 KB。虽然 LOB(如 TEXTBLOB)存储在外部,但依然受行大小的限制。
  • 索引大小:InnoDB 的索引前缀长度受限,默认最多 767 字节。

2. MySQL 5.7

  • 动态列存储:MySQL 5.7 引入了对 InnoDB 的动态列存储优化,减少了行记录中空列的存储消耗。
  • 大索引支持:通过启用 innodb_large_prefix,InnoDB 支持更大的索引前缀长度(最多 3072 字节)。

3. MySQL 8.0

  • 功能增强:MySQL 8.0 引入了很多性能优化,包括改进的查询优化器、JSON 数据类型支持、窗口函数等,这些改进对大数据量的处理非常有帮助。
  • 通用表表达式(CTE):MySQL 8.0 支持 CTE,可以帮助简化复杂查询。
  • 全面 UTF-8mb4 支持:MySQL 8.0 默认使用 utf8mb4,支持完整的 4 字节 UTF-8 字符集。

9.MySQL 存储总量限制和优化

  在统计完数据库的容量后,还需要了解 MySQL 数据库的存储总量限制,以及如何通过优化措施来提升存储效率。

1. MySQL 存储引擎的限制

  MySQL 支持多种存储引擎,不同存储引擎对存储容量的支持不同。以下是常用存储引擎的存储限制:
InnoDB 引擎
  • 单表最大大小:64TB(与文件系统限制有关)。
  • 单数据库最大大小:理论上没有限制,实际取决于硬盘大小及文件系统。
  • 索引大小:InnoDB 支持非常大的索引,默认情况下可以存储 767 字节的索引(非 UTF-8 编码),对于 UTF-8 编码,最大索引前缀长度为 191 字节。

  InnoDB 引擎的表存储在表空间中,表空间可以由多个数据文件组成,最大支持每个数据文件 64TB,因此总存储量是非常可扩展的。

MyISAM 引擎
  • 单表最大大小:256TB(与文件系统限制有关)。
  • 索引文件大小:64TB。
  • 单数据库最大大小:与硬盘容量及文件系统限制有关。

  MyISAM 使用每个表三个文件的方式(.frm.MYD.MYI),它依赖文件系统的限制,因此单表最大存储量在文件系统支持的情况下可以达到 256TB。

2. 文件系统的限制

  MySQL 的存储大小不仅受存储引擎的限制,还受到底层文件系统的限制。以下是常见文件系统的最大文件大小和分区大小限制:

文件系统最大文件大小最大分区大小
ext416TB1EB
XFS500TB8EB
NTFS16TB256TB
ZFS16EB16EB

假设 MySQL 表存储在一个支持大文件的文件系统上(如 XFS 或 ZFS),可以轻松达到数百 TB 级别的存储量。

3. 硬件资源的限制

  即使 MySQL 和文件系统支持大规模存储,实际的存储容量还取决于硬件资源,如:
  • 硬盘容量:服务器硬盘的物理容量会直接限制能存储的数据总量。
  • 内存大小:内存的大小会影响 MySQL 的缓存能力,进而影响数据库的性能,当数据量很大时,内存不足可能导致频繁的磁盘 I/O,拖慢性能。
  • CPU 性能:随着存储数据量的增加,查询和写入操作的复杂性也会增加,对 CPU 性能的要求也会更高。

10. 如何优化存储空间?

  了解了数据库和表的存储占用情况后,可以采取一些措施来优化存储空间:

  • 清理旧数据:对于不再需要的数据,特别是日志或历史记录,可以考虑删除或归档。
  • 压缩表:MySQL 支持表压缩功能(如 InnoDB 压缩表),这可以在不影响性能的情况下减少存储空间的占用。
  • 分区表:对于非常大的表,使用表分区可以提高查询性能,同时有助于管理存储空间。
  • 优化索引:定期检查表的索引,移除不再使用的索引,减少索引占用的存储空间。
  • ……

希望这篇文章能帮助到你,如果有其他问题或建议,欢迎留言讨论!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/59458.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【研究生必备】如何利用AI论文生成器免费提升效率?

在研究生阶段,写论文往往是学业中最具挑战性的部分之一。 面对繁重的文献阅读、复杂的分析和紧迫的时间限制,很多同学都感到压力倍增。不过,随着科技的发展,AI论文生成器的出现为我们提供了一种全新的解决方案。今天,…

Android无限层扩展多级recyclerview列表+实时搜索弹窗

业务逻辑: 点击选择,弹出弹窗,列表数据由后台提供,不限层级,可叠加无限层子级; 点击item展开收起,点击尾部icon单选选中,点击[确定]为最终选中,收起弹窗; 搜索…

位运算的使用与计算机组成的底层计算(java版)

目录 1. 求int类型数字的二进制2. 特殊值展示3. 心得 1. 求int类型数字的二进制 我们可以用位运算的与和左移去求 public class Lesson01 {public static void print(int num){for(int i 31; i >0; i--){System.out.print((num & (1 << i)) 0 ? "0&quo…

写作 | 人工智能在师生教学场景中的应用前景

正文 本文讨论人工智能在师生教学场景中的应用前景。在开展论述前&#xff0c;首先需要明确一些概念。 第一&#xff0c;什么是人工智能&#xff1f;人工智能&#xff08;Artificial Intelligence&#xff09;&#xff0c; 字面意义&#xff0c;即人工制作的智慧能力。这种智慧…

Java线程6种生命周期及转换

多线程技术是我们后端工程师在面试的时候必问的一个知识点&#xff0c;今天就来盘点一下多线程的相关知识&#xff0c; 先来说下进程&#xff0c;线程及线程的生命周期&#xff1a; 进程&#xff1a;进程就是正在进行中的程序&#xff0c;是没有生命的实体&#xff0c;只有在运…

美格智能5G车规级通信模组: 5G+C-V2X连接汽车通信未来十年

自2019年5G牌照发放开始&#xff0c;经过五年发展&#xff0c;我国5G在基础设施建设、用户规模、创新应用等方面均取得了显著成绩&#xff0c;5G网络建设也即将从基础的大范围覆盖向各产业融合的全场景应用转变。工业和信息化部数据显示&#xff0c;5G行业应用已融入76个国民经…

GooglePlay: 应用和游戏的内容分级

对于后台私信的开发者们,希望能够携带详细过审记录和拒审邮件一同发来,方便我们尽快解决问题 应用与游戏 为您的应用或游戏选择类别和标签选择要添加的标签选择类别并添加标签类别示例与应用、游戏以及两者中所投放广告的内容分级相关的要求应用如何获得内容分级内容分级的用…

人工智能学习--ANN模型、SVR模型

人工神经网络 (ANN) 概念 人工神经网络&#xff08;ANN&#xff09;是一种模拟人脑神经元连接结构的计算模型&#xff0c;通过多层神经元和加权连接来处理数据。典型的ANN由输入层、隐藏层和输出层组成。 工作原理 ANN通过传递输入数据至隐藏层神经元&#xff0c;将各层输出…

多线程--模拟实现定时器--Java

一、定时器的概念 定时器的本质就是一个闹钟&#xff0c;时间到了开始执行某些逻辑。Java标准库中的定时器是Timer。 我们查阅Java文档可以详细看到定时器的使用方法&#xff1a; Timer最核心的方法就是schedule方法。值得注意的是我们通常描述任务是使用Runnable来描述&…

FrankenPHP实践

目录 1. 说明 2. 程序修改 3. 性能测试 4. 配置 4.1 Docker化部署 4.2 泛域名和证书设置 4.3 相关命令 5. 要点&#xff1a; 6. 参考 1. 说明 Frankenphp是一个先进的&#xff0c;结合了高性能Caddy服务器的PHP环境框架&#xff0c;它允许用户只需要少量改动&#xff…

2024第三次随堂测验参考答案

7-1 求一组数组中的平均数 输入10个整数&#xff0c;输出这10个整数的的平均数&#xff0c;要求输出的平均数保留2位小数 输入样例&#xff1a; 1 2 3 4 5 6 7 8 9 10 输出样例&#xff1a; 5.50 参考答案&#xff1a; #include <stdio.h> int main(){int sum 0;…

Docker 镜像体积优化实践:从基础镜像重建到层压缩的全流程指南

​ 由于最近在发布的时候发现docker镜像体积变得越来越大&#xff0c;导致整个打包发布流程变得非常耗时了。所以又接到一个差事&#xff0c;优化最终镜像体积。顺便也记录一下docker镜像体积优化的一些步骤。 大概步骤可以分为以下几个步骤&#xff1a; 重做基础镜像&#x…

[linux 驱动]PWM子系统详解

目录 1 描述 2 结构体 2.1 pwm_chip 2.2 pwm_ops 2.3 pwm_device 2.4 pwm_class 3 相关函数 3.1 注册与注销 PWM 控制器 3.1.1 pwmchip_add 3.1.2 pwmchip_remove 3.2 申请与释放 PWM 设备 3.2.1 pwm_request 3.2.2 devm_pwm_get 3.2.3 pwm_free 3.3 控制 PWM …

Linux入门(2)

林纳斯托瓦兹 Linux之父 1. echo echo是向指定文件打印内容 ehco要打印的内容&#xff0c;不加任何操作就默认打印到显示器文件上。 知识点 在Linux下&#xff0c;一切皆文件。 打印到显示器&#xff0c;显示器也是文件。 2.重定向 >重定向操作&#xff0c;>指向的…

如何判断本地DNS是否污染

本地DNS污染是一种比较复杂且会对网络访问产生负面影响的现象。DNS即域名系统&#xff0c;它的主要功能是将便于人们记忆的域名转换为计算机能够理解的IP地址。本地DNS污染是指在本地网络环境中&#xff0c;DNS解析过程受到恶意干扰或错误配置的影响&#xff0c;使得域名被解析…

线程池使用实战

线程池使用实战 1. 线程池使用1.1 例子11.2 例子2 1. 线程池使用 // 使用 ThreadPoolExecutor 创建线程池private final ThreadPoolExecutor executorService new ThreadPoolExecutor(Runtime.getRuntime().availableProcessors(), // 核心线程数Runtime.ge…

asp.net网站项目如何设置定时器,定时获取数据

在 Global.asax.cs 文件中编写代码来初始化和启动定时器。Global.asax.cs 文件定义了应用程序全局事件&#xff0c;比如应用程序的启动和结束。在这里&#xff0c;我们将在应用程序启动时初始化和启动定时器。 using System; using System.Timers;public class Global : Syste…

【数据仓库】Hive 拉链表实践

背景 拉链表是一种数据模型&#xff0c;主要是针对数据仓库设计中表存储数据的方式而定义的&#xff1b;顾名思义&#xff0c;所谓拉链表&#xff0c;就是记录历史。记录一个事务从开始一直到当前状态的所有变化的信息。 拉链表可以避免按每一天存储所有记录造成的海量存储问题…

Mysql在oracle的安装与配置(怕忘)

1、获取iso 安装oracle:https://mirrors.tuna.tsinghua.edu.cn/openeuler/openEuler-24.03-LTS/ISO/x86_64/openEuler-24.03-LTS-x86_64-dvd.iso openEuler-22.03-LTS-x86_64-dvd.iso 2、安装os 手动设置固定IP,建议大家网卡vm net8 网关:x.x.x.2 DNS:114.114.114.11…

日常工作采坑,关于图片压缩哪些坑一次性踩完。

文章目录 0.前言1.代码实现2.压缩工具包的配置 0.前言 首先说明一下这个图片压缩为什么那么艰难&#xff0c;主要原因还是在于需求过于奇葩。比较奇葩的原因有如下几点&#xff1a;   1.图片是一个很大的文件&#xff0c;我长这么大还没见过这个大的文件。图下可以图片文件可…