group by 执行顺序

后面也会持续更新，学到新东西会在其中补充。

建议按顺序食用，欢迎批评或者交流！

缺什么东西欢迎评论！我都会及时修改的！

感谢各位大佬写的文章让我学到很多东西！只是在各位大佬的基础加了我自己的思路！

参考文献

MySQL——GROUP BY详解与优化在 `MySQL` 中，`GROUP BY`用于将具有指定列中相同值的行分组在一 - 掘金

看一遍就理解：group by 详解大家好，我是捡田螺的小男孩。日常开发中，我们经常会使用到group by。亲爱的小 - 掘金

SQL中distinct的用法 - Rain Man - 博客园

神奇的 SQL 之层级 → 为什么 GROUP BY 之后不能直接引用原表中的列为什么 GROUP BY 之后不能直接引 - 掘金

墙裂推荐！

3s->30ms！MySQL 生产环境 GROUP BY 优化实践MySQL 生产环境 GROUP BY 优化实践，执行 - 掘金

测试环境

MySql5.7、MySql9.0.4、Pg15

group by 和 distinct

开始前我们需要彻底了解group by 和 distinct作用

检索并列出已订购产品的清单_牛客题霸_牛客网

这个题有两种解法

// 1. 去重
select distinct prod_id from OrderItems
// 2. 分组
select prod_id from OrderItems group by prod_id

测试一下自己是否真正明白

注意：distinct必须放在开头

pgsql中distinct与distinct on的用法

postgres=# select distinct on(id,name) id,name from test;id | name
----+------1 |    11 |    22 |    22 |    33 |    33 |    44 |    34 |    4
(8 rows)
postgres=# select distinct id,name from test;id | name
----+------1 |    12 |    23 |    44 |    32 |    33 |    34 |    41 |    2
(8 rows)select distinct id,name from test = select distinct on(id,name) id,name from test

先暂时介绍一下distinct毕竟主题是group by

标准的错误，经典的零分

ERROR 1055 (42000): Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'test.Orders.cust_id' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by

是由于默认的 MySQL 配置中 `sql_mode` 配置了 `only_full_group_by`，需要 `GROUP BY` 中包含所有在 SELECT 中出现的字段。

第一种解决方案：

第二种解决方案：any_value()：将分到同一组的数据里第一条数据的指定列值作为返回数据

第三种解决方案：group_concat()：将分到同一组的数据默认用逗号隔开作为返回数据

偷偷排序是吧

在MySQL 5.7中，GROUP BY 默认隐式排序，按GROUP BY列按升序排序。如果不想在执行 GROUP BY 时执行排序的开销，可以禁用排序：

group by order by null

group by执行流程

select age,count(age) from staff where name='小李' group by age;

没有排序？那就排个序看看咋回事！

select age,count(age) from staff where name='小李' group by age order by age;

临时表

临时表大小为16M，参数 tmp_table_size 表示临时表内存大小。内存临时表使用的是memory引擎。

mysql> show  variables like '%tmp_table_size%';
+----------------+----------+
| Variable_name  | Value    |
+----------------+----------+
| tmp_table_size | 16777216 |
+----------------+----------+
1 row in set (0.03 sec)

如果临时表大小超过了tmp_table_size，那么内存临时表就会转成磁盘临时表。

mysql> show status like '%Created_tmp%';
+-------------------------+-------+
| Variable_name           | Value |
+-------------------------+-------+
| Created_tmp_disk_tables | 3     |
| Created_tmp_files       | 6     |
| Created_tmp_tables      | 17    |
+-------------------------+-------+
3 rows in set (0.02 sec)

Created_tmp_disk_tables：在磁盘上创建内部临时表时，服务器递增此值

Created_tmp_files：显示了MySQL服务器为存储临时数据而创建的临时文件的数量。

Created_tmp_tables：在内存中创建内部临时表时或在磁盘，服务器将递增此值。

一般理想配置
Created_tmp_disk_tables / Created_tmp_tables * 100% <= 25%

松散索引扫描（Loose Index Scan）

测试环境：

CREATE TABLE t2 (id INT AUTO_INCREMENT,c1 CHAR(64) NOT NULL,c2 CHAR(64) NOT NULL,c3 CHAR(64) NOT NULL,c4 CHAR(64) NOT NULL,PRIMARY KEY(id),KEY c1_c2_c3_idx (c1, c2,c3)
) ENGINE=INNODB;INSERT INTO t2 VALUES (null,'a','b','a','a'), (null,'a','b','a','a'),(null,'a','c','a','a'), (null,'a','c','a','a'),(null,'a','d','b','b'), (null,'a','b','b','b'),(null,'d','b','c','c'), (null,'e','b','c','c'),(null,'f','c','d','d'), (null,'k','c','d','d'),(null,'y','d','y','y'), (null,'f','b','f','y'),(null,'a','b','a','a'), (null,'a','b','a','a'),(null,'a','c','a','a'), (null,'a','c','a','a'),(null,'a','d','b','b'), (null,'a','b','b','b'),(null,'d','b','c','c'), (null,'e','b','c','c'),(null,'f','c','d','d'), (null,'k','c','d','d'),(null,'y','d','y','y'), (null,'f','b','f','y');  -- 收集统计信息，否则可能影响测试
ANALYZE TABLE t2;

不需要扫描所有的索引，根据分组前缀（GROUY BY 的字段）跳跃扫描部分
Extra: Using index for group-by

mysql> explain SELECT c1,MIN(c2) FROM t2 GROUP BY c1;
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+--------------------------+
| id | select_type | table | partitions | type  | possible_keys | key          | key_len | ref  | rows | filtered | Extra                    |
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+--------------------------+
|  1 | SIMPLE      | t2    | NULL       | range | c1_c2_c3_idx  | c1_c2_c3_idx | 256     | NULL |    7 |   100.00 | Using index for group-by |
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+--------------------------+
1 row in set, 1 warning (0.01 sec)

执行流程是这样的：

注意：如果 SQL 语句中既有 1-2 个 min\max，也有 1-3 个 count(distinct)\sum(distinct)\avg(distinct) 时，无法用到 Loose index；两组分别出现的时候才可能会用到。

使用到 Loose Index Scan 其他必要条件：

查询基于一个表。
GROUP BY 的字段满足索引的最左匹配原则。
聚合函数使用的列，必须包含在索引上；且使用多个聚合函数时，必须使用相同的字段，且 GROUP BY 字段+聚合函数字段也必须满足最左匹配原则。
索引中字段必须是全字段索引，而不能是前缀索引，例如 INDEX(c1(10))

练习可以看这个：

3s->30ms！MySQL 生产环境 GROUP BY 优化实践MySQL 生产环境 GROUP BY 优化实践，执行 - 掘金

我觉得还是得画图来理解！

待续：

SELECT c1,c2,c3,MAX(id) FROM t2 GROUP BY c1,c2,c3;

SELECT c1, c2 FROM t2 WHERE c3 = 'd' GROUP BY c1, c2;

紧凑索引扫描（Tight Index Scan）

需要扫描范围或全部的索引
Extra: Using index

两种算法结合

对于统计类 AGG(DISTINCT) 即 SUM|COUNT|AVG(distinct)，可能会出现使用松散索引扫描（Loose Index Scan）成本大于紧凑索引扫描（Tight Index Scan）的情况。

两种方式在引擎层主要包含的成本：

Loose Index Scan
- 读取分组的第一条记录，得到分组前缀（group by age,name）age,name就是分组前缀。
- 根据分组前缀读取分组的第一条或最后一条记录返回给 SERVER 层
Tight Index Scan
- 从 ENGINE 层读取数据，返回给 SERVER 层
- SERVER 层判断是否符合 WHERE 条件的记录，并根据聚合函数进行处理

可以看到，对于 ENGINE 层的访问，Loose Index Scan 的成本有可能会高于 Tight Index Scan，且在 MySQL 中，引擎层读取数据页的成本常数是 1，SERVER 层判断一条记录的成本常数是 0.2。

INSERT INTO t2 VALUES (null,'a','b','a','a'), (null,'a','b','a','a'),(null,'k','c','a','a'), (null,'k','g','a','a'),(null,'a','d','b','b'), (null,'a','b','b','b'),(null,'d','b','c','c'), (null,'e','b','c','c'),(null,'f','c','d','d'), (null,'k','c','d','d'),(null,'y','d','y','y'), (null,'f','b','f','y'),(null,'j','b','a','a'), (null,'m','b','a','a'),(null,'z','c','a','a'), (null,'t','c','a','a'),(null,'x','d','b','b'), (null,'x','b','b','b'),(null,'d','b','c','c'), (null,'e','b','c','c'),(null,'f','c','d','d'), (null,'k','c','d','d'),(null,'y','d','y','y'), (null,'f','b','f','y');

mysql> explain select count(distinct c1,c2) from t2;
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+-------------------------------------+
| id | select_type | table | partitions | type  | possible_keys | key          | key_len | ref  | rows | filtered | Extra                               |
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+-------------------------------------+
|  1 | SIMPLE      | t2    | NULL       | range | c1_c2_c3_idx  | c1_c2_c3_idx | 512     | NULL |   25 |   100.00 | Using index for group-by (scanning) |
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+-------------------------------------+
1 row in set, 1 warning (0.00 sec)

执行顺序是这样的：

对于 GROUP BY 可以使用索引进行优化，Loose Index Scan 相对于 Tight Index Scan 在一些情况下可以大大减少扫描的行数，使用 Loose Index Scan 时，Extra: Using index for group-by。

在 Loose Index Scan 的成本大于 Tight Index Scan 的一些情况下，可以尝试用到两者的结合的方式，Extra: Using index for group-by (scanning)

Loose Index Scan 更适用于分组内重复值相对较多，分组个数相对较少的情况。