引入
日常开发中，我们经常会使用到group by。你是否知道group by的工作原理呢？group by和having有什么区别呢？group by的优化思路是怎样的呢？使用group by有哪些需要注意的问题呢？
- 使用group by的简单例子
- group by 工作原理
- group by 使用注意点
使用group by的简单例子
group by一般用于分组统计，它表达的逻辑就是根据一定的规则，进行分组
假设用一张员工表，表结构如下：
CREATE TABLE `staff` (`id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id',`id_card` varchar(20) NOT NULL COMMENT '身份证号码',`name` varchar(64) NOT NULL COMMENT '姓名',`age` int(4) NOT NULL COMMENT '年龄',`city` varchar(64) NOT NULL COMMENT '城市',PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf8 COMMENT='员工表';
表存量的数据如下：
有这么一个需求：统计每个城市的员工数量。对应的 SQL 语句就可以这么写：
select city ,count(*) as num from staff group by city;
执行结果如下：
这条SQL语句的逻辑很清楚啦，但是它的底层执行流程是怎样的呢？
group by 原理分析
explain 分析
我们先用explain查看一下执行计划
explain select city ,count(*) as num from staff group by city;
- 1
- Extra 这个字段的Using temporary表示在执行分组的时候使用了临时表
- Extra 这个字段的Using filesort表示使用了排序
group by 怎么就使用到临时表和排序了呢？我们来看下这个SQL的执行流程
group by 的简单执行流程
explain select city ,count(*) as num from staff group by city;
- 创建内存临时表，表里有两个字段city和num；
- 全表扫描staff的记录，依次取出city = 'X’的记录。
判断临时表中是否有为 city='X’的行，没有就插入一个记录 (X,1);
如果临时表中有city='X’的行的行，就将x 这一行的num值加 1； - 遍历完成后，再根据字段city做排序，得到结果集返回给客户端。
这个流程的执行图如下：
临时表的排序是怎样的呢？
就是把需要排序的字段，放到sort buffer，排完就返回。在这里注意一点哈，排序分全字段排序和rowid排序
- 如果是全字段排序，需要查询返回的字段，都放入sort buffer，根据排序字段排完，直接返回
- 如果是rowid排序，只是需要排序的字段放入sort buffer，然后多一次回表操作，再返回。
- 怎么确定走的是全字段排序还是rowid 排序排序呢？由一个数据库参数控制的，max_length_for_sort_data
使用 group by 注意的问题
使用group by 主要有这几点需要注意：
- group by一定要配合聚合函数一起使用嘛？
- group by的字段一定要出现在select中嘛
- group by导致的慢SQL问题
group by一定要配合聚合函数使用嘛？
group by 就是分组统计的意思，一般情况都是配合聚合函数如（count(),sum(),avg(),max(),min())一起使用。
- count() 数量
- sum() 总和
- avg() 平均
- max() 最大值
- min() 最小值
如果没有配合聚合函数使用可以吗？
我用的是Mysql 5.7 ，是可以的。不会报错，并且返回的是，分组的第一行数据。
比如这个SQL：
select city,id_card,age from staff group by city;
查询结果是
大家对比看下，返回的就是每个分组的第一条数据
当然，平时大家使用的时候，group by还是配合聚合函数使用的，除非一些特殊场景，比如你想去重，当然去重用distinct也是可以的。
group by 后面跟的字段一定要出现在select中吗？
不一定，比如以下SQL：
select max(age) from staff group by city;
执行结果如下：
分组字段city不在select 后面，并不会报错。当然，这个可能跟不同的数据库，不同的版本有关吧。大家使用的时候，可以先验证一下就好。有一句话叫做，纸上得来终觉浅，绝知此事要躬行。
