【MySQL精通之路】InnoDB配置(8)-缓存池配置

本节提供InnoDB缓冲池的配置和调优信息。

1 配置InnoDB缓冲池大小

当增加或减少innodb_buffer_pool_size时，操作是分块执行的

区块大小由innodb_buffer_pool_chunk_size 配置选项定义，默认值为128M。

缓冲池大小必须始终等于或等于（n倍于块大小 x 缓冲池实例数）

innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances的倍数。

否则缓冲池大小将自动调整为等于innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances倍数的值。

在以下示例中，innodb_buffer_pool_size设置为8G，innodl_buffer_poor_instances设置为16。innodb_buffer_pool_chunk_size为128M，为默认值。

8G是一个有效的。

8G是innodb_buffer_pool_instance=16*innob_buffer_pool_chunk_size=128M的倍数，即2G。

$> mysqld --innodb-buffer-pool-size=8G --innodb-buffer-pool-instances=16

mysql> SELECT @@innodb_buffer_pool_size/1024/1024/1024;
+------------------------------------------+
| @@innodb_buffer_pool_size/1024/1024/1024 |
+------------------------------------------+
|                           8.000000000000 |
+------------------------------------------+

在本例中，innodb_buffer_pool_size设置为9G，innodl_buffer_poor_instances设置为16。innodb_buffer_pool_chunk_size为128M，为默认值。在这种情况下，9G不是innodb_buffer_pool_instance=16*innodb_buffer_pool_chunk_size=128M的倍数，因此innodb_uffer_pool_size被调整为10G，这是innodd_buffer_pool_chunk_size*innodb_buffer_poor_instances的倍数。

$> mysqld --innodb-buffer-pool-size=9G --innodb-buffer-pool-instances=16

mysql> SELECT @@innodb_buffer_pool_size/1024/1024/1024;
+------------------------------------------+
| @@innodb_buffer_pool_size/1024/1024/1024 |
+------------------------------------------+
|                          10.000000000000 |
+------------------------------------------+

1.1 配置InnoDB缓存池块大小

innodb_buffer_pool_chunk_size可以以1MB（1048576字节）为单位增加或减少，但只能在启动时、命令行字符串或MySQL配置文件中进行修改。

命令行：

$> mysqld --innodb-buffer-pool-chunk-size=134217728

配置文件：

[mysqld]
innodb_buffer_pool_chunk_size=134217728

更改innodb_buffer_pool_chunk_size时，以下条件适用：

如果在初始化缓冲池时，新的innodb_buffer_pool_chunk_size值*innodb_buffer_pool_instances大于当前缓冲池大小，则innodb_uffer_pool_chunk_size将被截断为innodb_缓冲池_size/innodb_buffer_pool _instances。

例如，如果缓冲池被初始化为2GB（2147483648字节）的大小、4个缓冲池实例和1GB（1073741824字节）的块大小，则块大小被截断为等于innodb_buffer_pool_size/innodb_buffer_pool_instances的值，如下所示：

$> mysqld --innodb-buffer-pool-size=2147483648 --innodb-buffer-pool-instances=4
--innodb-buffer-pool-chunk-size=1073741824;

mysql> SELECT @@innodb_buffer_pool_size;
+---------------------------+
| @@innodb_buffer_pool_size |
+---------------------------+
|                2147483648 |
+---------------------------+mysql> SELECT @@innodb_buffer_pool_instances;
+--------------------------------+
| @@innodb_buffer_pool_instances |
+--------------------------------+
|                              4 |
+--------------------------------+# Chunk size was set to 1GB (1073741824 bytes) on startup but was
# truncated to innodb_buffer_pool_size / innodb_buffer_pool_instancesmysql> SELECT @@innodb_buffer_pool_chunk_size;
+---------------------------------+
| @@innodb_buffer_pool_chunk_size |
+---------------------------------+
|                       536870912 |
+---------------------------------+

缓冲池大小必须始终等于或等于innodb_Buffer_pool_chunk_size*innodb_Buffer_pool_instances的倍数。

如果您更改innodb_buffer_pool_chunk_size，innodb_buffer_pool_size会自动调整为等于innodb_uffer_pool_chunk_size*innodb_buffer_pool_instances或其倍数的值。

在初始化缓冲池时进行调整。以下示例演示了这种行为：

# The buffer pool has a default size of 128MB (134217728 bytes)mysql> SELECT @@innodb_buffer_pool_size;
+---------------------------+
| @@innodb_buffer_pool_size |
+---------------------------+
|                 134217728 |
+---------------------------+# The chunk size is also 128MB (134217728 bytes)mysql> SELECT @@innodb_buffer_pool_chunk_size;
+---------------------------------+
| @@innodb_buffer_pool_chunk_size |
+---------------------------------+
|                       134217728 |
+---------------------------------+# There is a single buffer pool instancemysql> SELECT @@innodb_buffer_pool_instances;
+--------------------------------+
| @@innodb_buffer_pool_instances |
+--------------------------------+
|                              1 |
+--------------------------------+# Chunk size is decreased by 1MB (1048576 bytes) at startup
# (134217728 - 1048576 = 133169152):$> mysqld --innodb-buffer-pool-chunk-size=133169152mysql> SELECT @@innodb_buffer_pool_chunk_size;
+---------------------------------+
| @@innodb_buffer_pool_chunk_size |
+---------------------------------+
|                       133169152 |
+---------------------------------+# Buffer pool size increases from 134217728 to 266338304
# Buffer pool size is automatically adjusted to a value that is equal to
# or a multiple of innodb_buffer_pool_chunk_size * innodb_buffer_pool_instancesmysql> SELECT @@innodb_buffer_pool_size;
+---------------------------+
| @@innodb_buffer_pool_size |
+---------------------------+
|                 266338304 |
+---------------------------+

此示例演示了相同的行为，但具有多个缓冲池实例：

# The buffer pool has a default size of 2GB (2147483648 bytes)mysql> SELECT @@innodb_buffer_pool_size;
+---------------------------+
| @@innodb_buffer_pool_size |
+---------------------------+
|                2147483648 |
+---------------------------+# The chunk size is .5 GB (536870912 bytes)mysql> SELECT @@innodb_buffer_pool_chunk_size;
+---------------------------------+
| @@innodb_buffer_pool_chunk_size |
+---------------------------------+
|                       536870912 |
+---------------------------------+# There are 4 buffer pool instancesmysql> SELECT @@innodb_buffer_pool_instances;
+--------------------------------+
| @@innodb_buffer_pool_instances |
+--------------------------------+
|                              4 |
+--------------------------------+# Chunk size is decreased by 1MB (1048576 bytes) at startup
# (536870912 - 1048576 = 535822336):$> mysqld --innodb-buffer-pool-chunk-size=535822336mysql> SELECT @@innodb_buffer_pool_chunk_size;
+---------------------------------+
| @@innodb_buffer_pool_chunk_size |
+---------------------------------+
|                       535822336 |
+---------------------------------+# Buffer pool size increases from 2147483648 to 4286578688
# Buffer pool size is automatically adjusted to a value that is equal to
# or a multiple of innodb_buffer_pool_chunk_size * innodb_buffer_pool_instancesmysql> SELECT @@innodb_buffer_pool_size;
+---------------------------+
| @@innodb_buffer_pool_size |
+---------------------------+
|                4286578688 |
+---------------------------+

更改innodb_buffer_pool_chunk_size时应小心，因为更改此值会增加缓冲池的大小，如上面的示例所示。

在更改innodb_buffer_pool_chunk_size之前，请计算对innodb_buffer_pool_size的影响，以确保生成的缓冲池大小是可接受的。

注意：

为了避免潜在的性能问题，块的数量（innodb_buffer_pool_size/innodb_buffer_pool_chunk_size）不应超过1000。

1.2 在线配置InnoDB缓冲池大小

innodb_buffer_pool_size配置选项可以使用set语句动态设置，允许您在不重新启动服务器的情况下调整缓冲池的大小。例如

mysql> SET GLOBAL innodb_buffer_pool_size=402653184;

注意：

缓冲池大小必须等于或等于innodb_buffer_pool_chunk_size*innodb_buffer_pool_instances的倍数。更改这些变量设置需要重新启动服务器。

通过InnoDB API执行的活动事务和操作应在调整缓冲池大小之前完成。

启动调整大小操作时，直到所有活动事务都完成后，该操作才会启动。

调整大小操作进行后，需要访问缓冲池的新事务和操作必须等待调整大小操作完成。

该规则的例外情况是，当缓冲池进行碎片整理时，允许对缓冲池进行并发访问，而当缓冲池大小减小时，页面将被撤回。

允许并发访问的一个缺点是，当页面被撤回时，可能会导致可用页面暂时短缺。

注意：

如果在缓冲池大小调整操作开始后启动嵌套事务，则嵌套事务可能会失败。

1.3 监视联机缓冲池调整大小的进度

Innodb_buffer_pool_resize_status变量报告一个字符串值，指示缓冲池调整大小的进度；例如

mysql> SHOW STATUS WHERE Variable_name='InnoDB_buffer_pool_resize_status';
+----------------------------------+----------------------------------+
| Variable_name                    | Value                            |
+----------------------------------+----------------------------------+
| Innodb_buffer_pool_resize_status | Resizing also other hash tables. |
+----------------------------------+----------------------------------+

Innodb_buffer_pool_resize_status变量报告一个字符串值，指示bu。从MyQL 8.0.31，您还可以使用Innodb_buffer_pool_resize_status_code和Innodb_uffer_pool_resize _status_progress状态变量来监测在线缓冲池大小调整操作，这些变量报告数值，更适合用于编程监测。

Innodb_buffer_pool_resize_status_code状态变量报告一个状态代码，指示在线缓冲池大小调整操作的阶段。状态代码包括：fer池调整进度；例如

0:没有正在进行的调整大小操作

1：开始调整大小

2：禁用AHI（自适应哈希索引）

3：撤销区块

4：收购Global Lock

5：调整池大小

6：调整哈希大小

7：调整大小失败

Innodb_buffer_pool_resize_status_progress状态变量报告一个百分比值，指示每个阶段的进度。处理完每个缓冲池实例后，将更新百分比值。当状态（由Innodb_buffer_pool_resize_status_code报告）从一种状态更改为另一种状态时，百分比值重置为0。

以下查询返回一个字符串值，指示缓冲池调整大小的进度，一个代码，指示操作的当前阶段以及该阶段的当前进度，以百分比值表示：

SELECT variable_name, variable_value FROM performance_schema.global_status WHERE LOWER(variable_name) LIKE "innodb_buffer_pool_resize%";

缓冲池调整大小的进度也可以在服务器错误日志中看到。此示例显示了在增加缓冲池大小时记录的注释：

[Note] InnoDB: Resizing buffer pool from 134217728 to 4294967296. (unit=134217728)
[Note] InnoDB: disabled adaptive hash index.
[Note] InnoDB: buffer pool 0 : 31 chunks (253952 blocks) was added.
[Note] InnoDB: buffer pool 0 : hash tables were resized.
[Note] InnoDB: Resized hash tables at lock_sys, adaptive hash index, dictionary.
[Note] InnoDB: completed to resize buffer pool from 134217728 to 4294967296.
[Note] InnoDB: re-enabled adaptive hash index.

此示例显示减小缓冲池大小时记录的注释：

[Note] InnoDB: Resizing buffer pool from 4294967296 to 134217728. (unit=134217728)
[Note] InnoDB: disabled adaptive hash index.
[Note] InnoDB: buffer pool 0 : start to withdraw the last 253952 blocks.
[Note] InnoDB: buffer pool 0 : withdrew 253952 blocks from free list. tried to relocate 
0 pages. (253952/253952)
[Note] InnoDB: buffer pool 0 : withdrawn target 253952 blocks.
[Note] InnoDB: buffer pool 0 : 31 chunks (253952 blocks) was freed.
[Note] InnoDB: buffer pool 0 : hash tables were resized.
[Note] InnoDB: Resized hash tables at lock_sys, adaptive hash index, dictionary.
[Note] InnoDB: completed to resize buffer pool from 4294967296 to 134217728.
[Note] InnoDB: re-enabled adaptive hash index.

从MySQL 8.0.31开始，以--log error verbose=3启动服务器，会在联机缓冲池调整大小操作期间将额外信息记录到错误日志中。附加信息包括Innodb_buffer_pool_resize_status_code报告的状态代码和Innodb_buffer_pool_resize_status_progress报告的进度百分比值。

[Note] [MY-012398] [InnoDB] Requested to resize buffer pool. (new size: 1073741824 bytes)
[Note] [MY-013954] [InnoDB] Status code 1: Resizing buffer pool from 134217728 to 1073741824
(unit=134217728).
[Note] [MY-013953] [InnoDB] Status code 1: 100% complete
[Note] [MY-013952] [InnoDB] Status code 1: Completed
[Note] [MY-013954] [InnoDB] Status code 2: Disabling adaptive hash index.
[Note] [MY-011885] [InnoDB] disabled adaptive hash index.
[Note] [MY-013953] [InnoDB] Status code 2: 100% complete
[Note] [MY-013952] [InnoDB] Status code 2: Completed
[Note] [MY-013954] [InnoDB] Status code 3: Withdrawing blocks to be shrunken.
[Note] [MY-013953] [InnoDB] Status code 3: 100% complete
[Note] [MY-013952] [InnoDB] Status code 3: Completed
[Note] [MY-013954] [InnoDB] Status code 4: Latching whole of buffer pool.
[Note] [MY-013953] [InnoDB] Status code 4: 14% complete
[Note] [MY-013953] [InnoDB] Status code 4: 28% complete
[Note] [MY-013953] [InnoDB] Status code 4: 42% complete
[Note] [MY-013953] [InnoDB] Status code 4: 57% complete
[Note] [MY-013953] [InnoDB] Status code 4: 71% complete
[Note] [MY-013953] [InnoDB] Status code 4: 85% complete
[Note] [MY-013953] [InnoDB] Status code 4: 100% complete
[Note] [MY-013952] [InnoDB] Status code 4: Completed
[Note] [MY-013954] [InnoDB] Status code 5: Starting pool resize
[Note] [MY-013954] [InnoDB] Status code 5: buffer pool 0 : resizing with chunks 1 to 8.
[Note] [MY-011891] [InnoDB] buffer pool 0 : 7 chunks (57339 blocks) were added.
[Note] [MY-013953] [InnoDB] Status code 5: 100% complete
[Note] [MY-013952] [InnoDB] Status code 5: Completed
[Note] [MY-013954] [InnoDB] Status code 6: Resizing hash tables.
[Note] [MY-011892] [InnoDB] buffer pool 0 : hash tables were resized.
[Note] [MY-013953] [InnoDB] Status code 6: 100% complete
[Note] [MY-013954] [InnoDB] Status code 6: Resizing also other hash tables.
[Note] [MY-011893] [InnoDB] Resized hash tables at lock_sys, adaptive hash index, dictionary.
[Note] [MY-011894] [InnoDB] Completed to resize buffer pool from 134217728 to 1073741824.
[Note] [MY-011895] [InnoDB] Re-enabled adaptive hash index.
[Note] [MY-013952] [InnoDB] Status code 6: Completed
[Note] [MY-013954] [InnoDB] Status code 0: Completed resizing buffer pool at 220826  6:25:46.
[Note] [MY-013953] [InnoDB] Status code 0: 100% complete

1.4 在线缓冲池内部调整大小

调整大小操作由后台线程执行。当增加缓冲池的大小时，调整大小操作：

按块添加页面（块大小由innodb_buffer_pool_chunk_size定义）

转换哈希表、列表和指针以使用内存中的新地址

将新页面添加到可用列表

在进行这些操作时，会阻止其他线程访问缓冲池。

当减小缓冲池的大小时，调整大小操作：

对缓冲池进行碎片整理并提取（释放）页面

按块删除页面（块大小由innodb_buffer_pool_chunk_size定义）

转换哈希表、列表和指针以使用内存中的新地址

在这些操作中，只有对缓冲池进行碎片整理和撤回页面才能允许其他线程同时访问缓冲池。

2 配置多个缓冲池实例

对于缓冲池在千兆字节范围内的系统，将缓冲池划分为单独的实例可以通过减少不同线程读取和写入缓存页面时的争用来提高并发性。

此功能通常适用于缓冲池大小在千兆字节范围内的系统。

使用innodb_buffer_pool_instances配置选项配置多个缓冲池实例，还可以调整innodb_buffer_pool_size值。

当InnoDB缓冲池很大时，可以通过从内存中检索来满足许多数据请求。

您可能会遇到多个线程试图同时访问缓冲池的瓶颈。

您可以启用多个缓冲池来最大限度地减少这种争用。

使用哈希函数，将存储在缓冲池中或从缓冲池中读取的每个页面随机分配给其中一个缓冲池。

每个缓冲池管理自己的空闲列表、刷新列表、LRU以及连接到缓冲池的所有其他数据结构。

在MySQL 8.0之前，每个缓冲池都由自己的缓冲池互斥体保护。

在MySQL 8.0及更高版本中，缓冲池互斥被几个列表和哈希保护互斥所取代，以减少争用。

要启用多个缓冲池实例，请将innodb_buffer_pool_instances配置选项设置为大于1（默认值）到64（最大值）的值。

只有将innodb_buffer_pool_size设置为1GB或更大时，此选项才会生效。

您指定的总大小在所有缓冲池中分配。

为了获得最佳效率，请指定innodb_buffer_pool_instances和innodb_buffer_pool_size的组合，以便每个缓冲池实例至少为1GB。

3 使缓冲池抗扫描

InnoDB没有使用严格的LRU算法，而是使用了一种技术来最大限度地减少被带入缓冲池且不再被访问的数据量。（一句话解释就是减少热数据的误判率）

目标是确保频繁访问（“热”）页面保留在缓冲池中，即使预读和全表扫描会带来新的块，这些块可能在以后访问，也可能不会访问。

新读取的块被插入LRU列表的中间。所有新读取的页面都插入到距离LRU列表尾部3/8的位置。

第一次在缓冲池中访问页面时，页面会移动到列表的前面（最近使用的末尾）。

因此，从未访问过的页面永远不会出现在LRU列表的前面部分，并且比使用标准的LRU方法更快地“老化”。

这种设计将LRU列表分为两段，其中插入点下游的页面被认为是“旧的”，是LRU驱逐的理想候选块

有关InnoDB缓冲池的内部工作原理和LRU算法的具体说明，请参阅下面博客中的“缓存池”。

【MySQL精通之路】InnoDB(5)-内存结构-CSDN博客

您可以控制LRU列表中的插入点，并选择InnoDB是否对通过表或索引扫描带入缓冲池的块应用相同的优化。

配置参数innodb_old_block_pct控制LRU列表中“旧”块的百分比。

innodb_old_block_pct的默认值为37，对应于原始的固定比率3/8。该值范围为5（缓冲池中的新页面很快老化）到95（只有5%的缓冲池保留给热页面，使算法接近于熟悉的LRU策略）。

防止缓冲池被预读搅动的优化可以避免由于表或索引扫描而引起的类似问题。

在这些扫描中，数据页通常会被快速连续访问几次，并且再也不会被查询。配置参数innodb_old_block_time指定第一次访问页面后的时间窗口（以毫秒为单位），在此期间可以访问页面而不必移动到LRU列表的前端（最近使用的端）。innodb_old_block_time的默认值为1000。增加该值会使越来越多的块从缓冲池中更快地老化。

innodb_old_block_pct和innodb_ld_block_time都可以在MySQL选项文件（my.cnf或my.ini）中指定，也可以在运行时使用SET GLOBAL语句进行更改。