1 背景
分页性能问题,之前遇到过这类问题,拿出来再讨论下
2 分析
分页性能问题,特别是在数据量大的情况下,是一个常见的问题。通常,当我们使用类似 LIMIT
和 OFFSET
的SQL语句进行分页时,性能问题尤其明显。这是因为随着 OFFSET
的增加,数据库需要跳过更多的行才能获取到需要的数据,这导致了查询时间的增加。
我们在查看前几页的时候,发现速度非常快,比如 limit 200,25
,瞬间就出来了。但是越往后,速度就越慢,特别是百万条之后,卡到不行,那这个是什么原理呢。先看一下我们翻页翻到后面时,查询的sql是怎样的:
1 select * from t_name where c_name1='xxx' order by c_name2 limit 2000000,25;
这种查询的慢,其实是因为limit后面的偏移量太大导致的。比如像上面的 limit 2000000,25
,这个等同于数据库要扫描出 2000025 条数据,然后再丢弃前面的 20000000 条数据,返回剩下25条数据给用户,这种取法明显不合理。