mysql表字段超过多少影响性能 mysql表多少效率会下降

一直有传言说，MySQL 表的数据只要超过 2000 万行，其性能就会下降。而本文作者用实验分析证明：至少在 2023 年，这已不再是 MySQL 表的有效软限制。

传言
互联网上有一则传言说，我们应该避免单个 MySQL 表中的数据超过 2000 万行，否则表的性能就会下降——当数据量超过这个软限制时，你就会发现 SQL 的查询速度会比平时慢很多。这是多年前针对 HDD 做出的判断。我想知道，时至 2023 年，SSD 上的 MySQL 是否仍然有此限制。如果真的有，那么原因是什么呢？

环境
数据库

▶ MySQL 版本: 8.0.25

▶ 实例类型：AWS db.r5.large（2vCPUs, 16GiB RAM）

▶ EBS 存储类型：General Purpose SSD（gp2）

测试客户端

▶ Linux 内核版本：6.1

▶ 实例类型：AWS t2.micro（1 vCPU, 1GiB RAM）

实验设计
创建具有相同结构、但大小不同的表。我一共创建了 9 个表，数据行数分别为：10 万、20 万、50 万、100 万、200 万、500 万、1000 万、2000 万、3000 万、5000 万和 6000 万。

  1. 创建几个具有相同结构的表：
CREATE TABLE row_test(
`id` int NOT NULL AUTO_INCREMENT,
`person_id` int NOT NULL,
`person_name` VARCHAR(200),
`insert_time` int,
`update_time` int,
PRIMARY KEY (`id`),
KEY `query_by_update_time` (`update_time`),
KEY `query_by_insert_time` (`insert_time`)
);
  1. 插入不同的数据。我使用了测试客户端和表复制的方式创建了这些表。脚本可参考：https://github.com/gongyisheng/playground/blob/main/mysql/row_test/insert_data.py。
# test client
INSERT INTO {table} (person_id, person_name, insert_time, update_time) VALUES ({person_id}, {person_name}, {insert_time}, {update_time})
# copy
create table like <table>
insert into (`person_id`, `person_name`, `insert_time`, `update_time`)
select `person_id`, `person_name`, `insert_time`, `update_time` from

person_id、person_name、insert_time 和 update_time 的值是随机的。

  1. 使用测试客户端执行以下 sql 查询来测试性能。脚本可参考：https://github.com/gongyisheng/playground/blob/main/mysql/row_test/select_test.py。
select count(*) from <table> -- full table scan
select count(*) from <table> where id = 12345 -- query by primary key
select count(*) from <table> where insert_time = 12345 -- query by index
select * from <table> where insert_time = 12345 -- query by index, but cause 2-times index tree lookup
  1. 查看 innodb 缓冲池状态。
SHOW ENGINE INNODB STATUS
SHOW STATUS LIKE 'innodb_buffer_pool_page%

结果
查询1：select count(*) from
在这里插入图片描述

这种查询会执行全表扫描，MySQL 并不擅长这种工作。

▶ 第一轮：没有缓存。第一次执行查询时，缓冲池中没有缓存数据。

▶ 第二轮：有缓存。当缓冲池中已经有数据缓存时执行查询，通常在第一次查询执行完之后。

观察结果：

1. 第一轮查询的执行时间超出了后面几次。

在这里插入图片描述
原因是 MySQL 使用了 innodb_buffer_pool 来缓存数据页。在第一次执行查询之前，缓冲池是空的，所以 MySQL 必须进行大量的磁盘 I/O 才能从 .idb 文件加载表。但在第一次执行结束后，缓冲池中存储了数据，后续查询可以直接读取内存，避免磁盘 I/O，因此速度更快。该过程称为 MySQL 缓冲池预热。

2. select count(*) from < table > 会设法将整个表加载到缓冲池。

在这里插入图片描述

我比较了实验前后 innodb_buffer_pool 的统计数据。运行查询后，如果缓冲池足够大，则其使用量变化等于表的大小。否则，只有部分表会缓存在缓冲池中。原因是查询 select count(*) from table 会做全表扫描，并做逐行统计。如果没有缓存，就需要将完整的表加载到内存中。为什么？因为 Innodb 支持事务，它不能保证事务在不同时间看到同一张表。全表扫描是获得准确行数的唯一安全方法。

3. 如果缓冲池不能容纳全表，则会爆发查询延迟。

在这里插入图片描述
我注意到 innodb_buffer_pool 的大小会极大地影响查询性能，因此我尝试在不同的配置下运行查询。当使用 11G 缓冲区，而表的大小达到 5000 万行时，就会爆发查询延迟。接着，我将缓冲区缩减到 7G，当表的大小达到 3000 万行时，爆发了查询延迟。最后，我将缓冲区缩减到 3G，当表的大小仅为 2000 万行时，就爆发了查询延迟。很明显，如果表中的数据无法缓存在缓冲池中，则 select count(*) from

必须执行昂贵的磁盘 I/O，这会导致查询运行时间直线上升。

4. 对于没有缓存的查询，查询花费的时间与表的大小呈线性关系，与缓冲池大小无关。

在这里插入图片描述
当没有缓存时，查询花费的时间由磁盘 I/O 决定，与缓冲池大小无关。在 IOPS 相同的情况下，是否使用 select count(*) 预热缓冲池并没有区别。

5. 如果无法完整地缓存整个表，则有无缓存的查询运行时间差异是恒定的。

另请注意，如果无法完整地缓存整个表，虽然查询运行时会突然上升，但运行时是可预测的。无论表的大小如何，有无缓存的时间差异是恒定的。原因是表的部分数据缓存在缓冲区中，这里的时间差异来自从缓冲区读取数据节省的时间。

查询2，3：select count(*) from where = 12345
在这里插入图片描述
这个查询使用了索引。由于不是范围查询，MySQL 只需要利用 B+ 树的路径从上到下查找页面，并将这些页面缓存到 innodb 缓冲池中即可。

我创建的表的 B+ 树的深度都是 3，因此前面的 3~4 次 I/O 都被拿来预热缓冲区，平均耗时 4~6 毫秒。之后，再次运行相同的查询，MySQL 就会直接从内存中查找结果，耗时为 0.5 毫秒，约等于网络 RTT。如果缓存页面长时间未命中，并从缓冲池中逐出，则必须再次从磁盘加载该页面，这样就需要磁盘 I/O（最多 4 次）。

查询4：select * from where = 12345
在这里插入图片描述
这个查询涉及两次索引查找。由于 select * 需要查询获取的 person_name、person_id 字段并不在索引中，因此在查询执行期间，数据库引擎必须查找 2 个 B+ 树。它首先查找 insert_time B+ 树，获取目标行的主键，然后查找主键 B+ 树，获取该行的完整数据，如下图所示：

在这里插入图片描述
这就是我们应该在生产中避免 select * 的原因。此次实验证实，此查询加载的页面块比查询 2 或 3 多出了 2 倍，且最高可达 8 倍。查询的平均运行时间为 6~10 毫秒，也是查询 2 或 3 的 1.5~2 倍。

传言是怎么来的
在这里插入图片描述
首先，我们需要知道 innodb 索引页的物理结构。默认页面大小为 16k，由页眉、系统记录、用户记录、页面导向器和尾部组成。只有剩下的 14~15k 用来存储数据。

假设你使用 INT 作为主键（4 字节），每行 1KB 的有效负载。每个叶页可以存储 15 行，一个指向该页的指针需要 4+8=12 字节。因此，每个非叶页最多可以容纳 15k / 12 字节 = 1280 个指针。如果你有一个 4 层的 B+ 树，它最多可以容纳 1280128015 = 24.6M 行数据。

回到 HDD 占据市场主导地位，且 SSD 对于数据库而言过于昂贵的时代，4 次随机 I/O 可能是我们可以容忍的最坏情况，而使用 2 次索引树查找的查询甚至会使情况变得更糟。当时的工程师想要控制索引树的深度，不希望它们太深。而如今 SSD 越来越流行，随机 I/O 比以前便宜了，因此我们应该反思一下 10 年前的规则。

顺便说一句，5 层 B+ 树可以容纳 128012801280*15 = 31.4B 行数据，超过了 INT 所能容纳的最大数据量。对每行大小的不同假设将导致不同的软限制，或小于或大于 2000 万行。例如，在我的实验中，每一行大约是 816 字节（我使用 utf8mb4 字符集，所以每个字符占用 4 个字节），4 层 B+ 树可以容纳的软限制是 29.5M。

结论
▶ Innodb 缓存池的大小、表的大小决定了是否会出现性能降级。

▶ 判断是否需要拆分 MySQL 表的一个更有意义的指标是查询运行时/缓冲池命中率。如果查询总是命中缓冲区，则不会有任何性能问题。2000 万行只是一个经验值。

▶ 除了拆分 MySQL 表之外，增加 Innodb 缓存池的大小和数据库的内存也是一个选择。

▶ 如果可能，请避免在生产中使用 select *，这类语句在最坏的情况下会导致 2 次索引树查找。

▶ （我个人的意见）考虑到 SSD 现在越来越流行，2000 万行不再是 MySQL 表的有效软限制。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/20778.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

内网渗透-在HTTP协议层面绕过WAF

内网渗透-在HTTP协议层面绕过WAF

进入正题&#xff0c;随着安全意思增强&#xff0c;各企业对自己的网站也更加注重安全性。但很多web应用因为老旧&#xff0c;或贪图方便想以最小代价保证应用安全&#xff0c;就只仅仅给服务器安装waf。 本次从协议层面绕过waf实验用sql注入演示&#xff0c;但不限于实际应用…
阅读更多...
[数据集][目标检测]轮胎检测数据集VOC+YOLO格式439张1类别

[数据集][目标检测]轮胎检测数据集VOC+YOLO格式439张1类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;439 标注数量(xml文件个数)&#xff1a;439 标注数量(txt文件个数)&#xff1a;439 标注类别…
阅读更多...
mysql怎么部署双机

mysql怎么部署双机

MySQL的双机部署是为了实现数据的高可用性和容错性。以下是MySQL双机热备部署的基本步骤&#xff0c;我会尽量清晰地分点表示和归纳&#xff1a; 1. 环境准备 安装MySQL&#xff1a;在两台服务器上分别安装MySQL数据库。确保版本兼容。 网络配置&#xff1a;确保两台服务器之…
阅读更多...
题目：判断一个素数能被几个9整除

题目：判断一个素数能被几个9整除

题目&#xff1a;判断一个素数能被几个9整除 There is no nutrition in the blog content. After reading it, you will not only suffer from malnutrition, but also impotence. The blog content is all parallel goods. Those who are worried about being cheated should …
阅读更多...
颠仆流离学二叉树2 (Java篇)

颠仆流离学二叉树2 (Java篇)

本篇会加入个人的所谓鱼式疯言 ❤️❤️❤️鱼式疯言:❤️❤️❤️此疯言非彼疯言 而是理解过并总结出来通俗易懂的大白话, 小编会尽可能的在每个概念后插入鱼式疯言,帮助大家理解的. &#x1f92d;&#x1f92d;&#x1f92d;可能说的不是那么严谨.但小编初心是能让更多人…
阅读更多...
泛型知识汇总

泛型知识汇总

演示代码&#xff1a; package exercise;import java.util.Arrays;public class MyArrayList<E> {Object[] obj new Object[10];int size;public boolean add(E e) {obj[size] e;size;return true;}public E get(int index) {return (E) obj[index];}//没有这个函数&a…
阅读更多...
现代信号处理12_谱估计的4种方法（CSDN_20240602）

现代信号处理12_谱估计的4种方法（CSDN_20240602）

Slepian Spectral Estimator(1950) 做谱估计的目标是尽可能看清楚信号功率谱在某一个频率上的情况&#xff0c;假设我们想了解零频时的分布&#xff0c;最理想的情况是滤波器的传递函数H(ω) 是一个冲激函数&#xff0c;这样就没有旁瓣&#xff0c;也就没有泄漏&#xff1b;其次…
阅读更多...
【OpenHarmony】TypeScript 语法 ③ ( 条件语句 | if else 语句 | switch case 语句 )

【OpenHarmony】TypeScript 语法 ③ ( 条件语句 | if else 语句 | switch case 语句 )

文章目录 一、条件语句1、if else 语句2、switch case 语句 参考文档 : <HarmonyOS第一课>ArkTS开发语言介绍 一、条件语句 1、if else 语句 TypeScript 中的 if 语句 / if else 语句 用法 , 与 JavaScript 语言中的 if 语句 / if else 语句 语法 基本相同 ; if else 语…
阅读更多...
使用Java构建RESTful API：实现灵活、可扩展的Web服务

使用Java构建RESTful API：实现灵活、可扩展的Web服务

RESTful API已经成为构建现代Web应用的标准之一&#xff0c;它通过简单的HTTP协议进行通信&#xff0c;提供了一种轻量级、灵活、可扩展的方式来构建和管理Web服务。Java作为一种强大的编程语言&#xff0c;提供了许多框架和库来帮助开发者构建高效的RESTful API。本文将探讨如…
阅读更多...
项目质量管理

项目质量管理

目录 1.概述 2.三个关键过程 2.1.规划质量管理&#xff08;Plan Quality Management&#xff09; 2.2.管理质量&#xff08;Manage Quality&#xff09; 2.3.控制质量&#xff08;Control Quality&#xff09; 3.应用场景 3.1.十个应用场景 3.2.产品设计与开发 4.小结…
阅读更多...
使用PyCharm 开发工具创建工程

使用PyCharm 开发工具创建工程

一. 简介 前面学习了 安装 python解释器。如何安装python的一种开发工具 PyCharm。 本文来简单学习一下&#xff0c;如何使用 PyCharm 开发工具创建一个简单的 python工程。 二. PyCharm 开发工具创建一个工程 1. 首先&#xff0c;首先打开PyCharm 开发工具。选择 创建一…
阅读更多...
Docker部署SiYuan笔记-Unraid

Docker部署SiYuan笔记-Unraid

使用unraid的docker部署SiYuan笔记&#xff0c;简单记录 笔记说明 Siyuan笔记是一款基于markdown语法的笔记工具&#xff0c;具有活跃的社区和多设备支持。大部分功能都是免费&#xff0c;源代码开源&#xff0c;支持插件安装&#xff0c;具有很不错的使用体验。 Docker地址&a…
阅读更多...
linux---生产者和消费者模型

linux---生产者和消费者模型

生产者消费者模式就是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯&#xff0c;而通过阻塞队列来进行通讯&#xff0c;所以生产者生产完数据之后不用等待消费者处理&#xff0c;直接扔给阻塞队列&#xff0c;消费者不找生产者要数据&#…
阅读更多...
2024年海南省三支一扶报名指南，照片要求

2024年海南省三支一扶报名指南，照片要求

2024年海南省三支一扶报名指南&#xff0c;照片要求 一、考试时间安排&#xff1a; 报名时间&#xff1a;6月1日8:00至6月7日18:00 准考证打印时间&#xff1a;6月17日8:00 考试时间&#xff1a;6月22日 二、招聘人数 海南省计划招募390名高校毕业生
阅读更多...
STM32_IIC

STM32_IIC

1、IIC简介 I2C&#xff0c;即Inter IC Bus。是由Philips公司开发的一种串行通用数据总线&#xff0c;主要用于近距离、低速的芯片之间的通信&#xff1b;有两根通信线&#xff1a;SCL&#xff08;Serial Clock&#xff09;用于通信双方时钟的同步、SDA&#xff08;Serial Data…
阅读更多...
JVM之【执行引擎】

JVM之【执行引擎】

执行引擎 执行引擎是JVM的核心组件之一&#xff0c;它负责将Java字节码文件转换为机器指令并执行。这一过程涉及多个组成部分&#xff0c;各部分协同工作来完成字节码到机器指令的转换和执行。以下是执行引擎的主要组成部分及其作用&#xff1a; 1. 解释器&#xff08;Interp…
阅读更多...
vue.js框架快速入门

vue.js框架快速入门

Vue.js是一个渐进式JavaScript框架&#xff0c;用于构建用户界面和单页应用程序。以下是Vue.js快速入门的基本步骤和概念&#xff1a; 1. 环境准备 确保你的计算机上安装了Node.js&#xff0c;它包括npm&#xff08;Node Package Manager&#xff09;&#xff0c;用于管理项目…
阅读更多...
友善RK3399v2平台利用rkmpp实现硬件编解码加速

友善RK3399v2平台利用rkmpp实现硬件编解码加速

测试VPU 编译mpp sudo apt update sudo apt install gcc g cmake make cd ~ git clone https://github.com/rockchip-linux/mpp.git cd mpp/build/linux/aarch64/ sed -i s/aarch64-linux-gnu-gcc/gcc/g ./arm.linux.cross.cmake sed -i s/aarch64-linux-gnu-g/g/g ./arm.lin…
阅读更多...
如何学习ai agent？

如何学习ai agent？

如何学习Agent&#xff0c;推荐阅读《动手做AI Agent》这本书。 推荐理由&#xff1a; 1&#xff1a;一本书能够全方位了解并探索Agent的奥秘&#xff01; &#xff08;1&#xff09;Agent的发展进程。 &#xff08;2&#xff09;可以帮我们做哪些事&#xff1a;自动办公&am…
阅读更多...
TypeScript 中的迭代器和生成器

TypeScript 中的迭代器和生成器

1. 迭代器 迭代器是一种对象&#xff0c;它提供了一种统一的方式来访问集合中的元素&#xff0c;而不暴露集合的内部结构。在 TypeScript 中&#xff0c;迭代器通过实现 Iterator 接口来定义。 interface Iterator<T> {next(): IteratorResult<T>; }interface It…
阅读更多...
最新文章

Copyright @ 2022~2023