MySQL深分页,limit 100000,10 优化

文章目录

  • 一、limit深分页为什么会变慢
  • 二、优化方案
    • 2.1 通过子查询优化(覆盖索引)
      • 回顾B+树结构
      • 覆盖索引
      • 把条件转移到主键索引树
    • 2.2 INNER JOIN 延迟关联
    • 2.3 标签记录法(要求id是有序的)
    • 2.4 使用between...and...

我们日常做分页需求时,一般会用limit实现,但是当偏移量特别大的时候,查询效率就变得低下。本文将分4个方案,讨论如何优化MySQL百万数据的深分页问题.

参考 实战!聊聊如何解决MySQL深分页问题

一、limit深分页为什么会变慢

表结构

CREATE TABLE account (id int(11) NOT NULL AUTO_INCREMENT COMMENT '主键Id',name varchar(255) DEFAULT NULL COMMENT '账户名',balance int(11) DEFAULT NULL COMMENT '余额',create_time datetime NOT NULL COMMENT '创建时间',update_time datetime NOT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',PRIMARY KEY (id),KEY idx_name (name),KEY idx_update_time (update_time) //索引
) ENGINE=InnoDB AUTO_INCREMENT=1570068 DEFAULT CHARSET=utf8 ROW_FORMAT=REDUNDANT COMMENT='账户表';

执行的深分页SQL为

select id,name,balance from account where update_time> '2020-09-19' limit 100000,10;

这个SQL的执行时间如下:

img

执行完需要0.742秒,深分页为什么会变慢呢?如果换成 limit 0,10,只需要0.006秒哦

img

我们先来看下这个SQL的执行流程

  1. 通过普通二级索引树idx_update_time,过滤update_time条件,找到满足条件的记录ID。

  2. 通过ID,回到主键索引树,找到满足记录的行,然后取出展示的列(回表

  3. 扫描满足条件的100010行,然后扔掉前100000行,返回。

    (每一条select语句都会从1遍历至当前位置,若跳转到第10000页,则会遍历100000条记录)

在这里插入图片描述

执行计划如下: img

SQL变慢原因有两个

  1. limit语句会先扫描offset+n行,然后再丢弃掉前offset行,返回后n行数据。也就是说limit 100000,10,就会扫描100010行,而limit 0,10,只扫描10行。
  2. limit 100000,10 扫描更多的行数,也意味着回表更多的次数。

二、优化方案

2.1 通过子查询优化(覆盖索引)

因为以上的SQL,回表了100010次,实际上,我们只需要10条数据,也就是我们只需要10次回表其实就够了。因此,我们可以通过减少回表次数来优化。

回顾B+树结构

如何减少回表次数呢?我们先来复习下B+树索引结构

InnoDB中,索引分主键索引(聚簇索引)和二级索引

  • 主键索引,叶子节点存放的是整行数据
  • 二级索引,叶子节点存放的是主键的值

img

覆盖索引

覆盖索引(covering index ,或称为索引覆盖)即从非主键索引中就能查到的记录,而不需要查询主键索引中的记录,避免了回表的产生减少了树的搜索次数,显著提升性能。

如何确定数据库成功使用了覆盖索引呢? —— 当发起一个索引覆盖查询时,在explain的extra列可以看到using index的信息

在这里插入图片描述

可以看到Extra中的Using index,表明我们成功使用了覆盖索引

把条件转移到主键索引树

如果我们把查询条件,转移回到主键索引树,那就不就可以减少回表次数啦。转移到主键索引树查询的话,查询条件得改为主键id了,之前SQL的update_time这些条件咋办呢?抽到子查询那里嘛~

子查询那里怎么抽的呢?因为二级索引叶子节点是有主键ID的,所以我们直接根据update_time来查主键ID即可,同时我们把 limit 100000的条件,也转移到子查询,完整SQL如下:

select id,name,balance FROM account where id >= (select a.id from account a where a.update_time >= '2020-09-19' limit 100000, 1) LIMIT 10; -- (可以加下时间条件到外面的主查询)

查询效果一样的,执行时间只需要0.038秒! 0.742秒 ——> 0.038秒

img

我们来看下执行计划 img

由执行计划得知,子查询 table a查询是用到了idx_update_time索引。首先在索引上拿到了聚集索引的主键ID,省去了回表操作,然后第二查询直接根据第一个查询的ID往后再去查10个就可以了!

img

所谓的覆盖索引就是从普通索引树中就能查到的想要数据,而不需要通过回表从主键索引中查询其他列,能够显著提升性能。

因此,这个方案是可以的~

2.2 INNER JOIN 延迟关联

延迟关联的优化思路,跟子查询的优化思路其实是一样的:都是把条件转移到主键索引树,然后减少回表。不同点是,延迟关联使用了inner join代替子查询。

优化后的SQL如下:

SELECT  acct1.id,acct1.name,acct1.balance FROM account acct1 INNER JOIN (SELECT a.id FROM account a WHERE a.update_time >= '2020-09-19' ORDER BY a.update_time LIMIT 100000, 10) AS  acct2 on acct1.id= acct2.id;

查询效果也是杠杆的,只需要0.034秒

img

执行计划如下:

img

查询思路就是,先通过idx_update_time二级索引树查询到满足条件的主键ID,再与原表通过主键ID内连接,这样后面直接走了主键索引了,同时也减少了回表。

2.3 标签记录法(要求id是有序的)

limit 深分页问题的本质原因就是:偏移量(offset)越大,mysql就会扫描越多的行,然后再抛弃掉。这样就导致查询性能的下降

其实我们可以采用标签记录法,就是标记一下上次查询到哪一条了,下次再来查的时候,从该条开始往下扫描。就好像看书一样,上次看到哪里了,你就折叠一下或者夹个书签,下次来看的时候,直接就翻到啦

select id,name,balance from account limit 1000000,10;

假设上一次记录到100000,则SQL可以优化为:

select id,name,balance FROM account where id > 100000 order by id limit 10;

这样的话,后面无论翻多少页,性能都会不错的,因为命中了id索引。但是你,这种方式有局限性:要求id连续的、并且有序

在有序的条件下,也可以使用比如创建时间等其他字段来代替主键id,但是前提是这个字段是建立了索引的。

id不是连续,我们可以通过order by让它连续

总之,使用条件过滤的方式来优化 limit 是有诸多限制的,一般还是推荐使用覆盖索引的方式来优化。

2.4 使用between…and…

很多时候,可以将limit查询转换为已知位置的查询,这样MySQL通过范围扫描between...and,就能获得到对应的结果。

select id,name,balance from account limit 1000000,10;

如果知道边界值为100000,100010后,就可以这样优化:

select id,name,balance FROM account where id between 100000 and 100010 order by id desc;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/23379.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浅谈人工智能在新型电力系统建设和电力行业中的应用和未来发展趋势

文章目录 概要应用场景分析未来趋势分析小结备注 概要 人工智能在新型电力系统建设和电力行业中具有广泛的应用和潜力。它可以大大提高电力系统的运行效率、可靠性和安全性,同时减少能源浪费和环境影响。 应用场景分析 能源预测和优化:人工智能可以通过…

引擎:UI

一、控件介绍 Button 按钮 创建一个按钮 按钮禁用 精灵模式 颜色模式 缩放模式 绑定点击事件 EditBox 输入框 Layout 布局 支持水平排列、垂直排列、背包排列 PageView 页面视图 ProgressBar 进度条 RichText 富文本 绑定点击事件 事件可以被其它标签包裹 图文混排 Scroll…

AG32 MCU+FPGA 使用感受

前言: 笔者35了,10多年前开始玩单片机/FPGA啥的,从现在回想过去,眼下真的是我们国家微电子发展的好时候。各种各样的国产单片机,FPGA啥的,想想本科的时候用的Freescale,后来用的STM32&#xff0…

13、数字中国建设整体布局规划

指导思想 《规划》强调,要坚持以新时代中国特色社会主义思想特别是网络强国的重要思想为指导,深入贯彻党的二十大精神,坚持稳中求进工作总基调,完整、准确、全面贯彻新发展理念,加快构建新发展格局,着力推动高质量发展,统筹发展和安全,强化系统观念和底线思维,加强整…

解决 ublox_f9p的 topic “/ublox_driver/receiver_lla“中无位置精度(P_std)的问题

一、背景 GNSS/INS组合导航是车辆导航等领域中常见的组合方式。ublox_f9p 设备因其优秀的性能被广泛关注,其可以直接发布 GNSS的高精度定位解,为GNSS/INS组合导航的实时定位提供极大的便利。其中 ubuntu环境下,ublox_f9p 设备的操作如下: 【1】Ubuntu18.04 下的安装,运行…

C 语言实例 - 字符串翻转

使用递归来翻转字符串。 实例 - 字符串翻转 #include <stdio.h> void reverseSentence();int main() {printf("输入一个字符串: ");reverseSentence();return 0; }void reverseSentence() {char c;scanf("%c", &c);if( c ! \n){reverseSentenc…

MQ基础(RabbitMQ)

通信 同步通信&#xff1a;就相当于打电话&#xff0c;双方交互是实时的。同一时刻&#xff0c;只能与一人交互。 异步通信&#xff1a;就相当于发短信&#xff0c;双方交互不是实时的。不需要立刻回应对方&#xff0c;可以多线程操作&#xff0c;跟不同人同时聊天。 RabbitM…

UI 自动化中的分层设计

以前的设计 在过去 UI 自动化测试领域有一个规范的设计模式是 page object 模式。 意思是测试用例不会直接定位页面元素&#xff0c; 而是把每一个页面封装成一个类。 在这个类中封装页面元素。 然后测试用例调用 page 类来操作页面元素完成测试用例。如下图&#xff1a; 以前…

【工具变量】巡回法庭DID数据(2000-2022)(附部分stata代码)

数据来源&#xff1a; 时间跨度&#xff1a;2000-2022 数据范围&#xff1a;全国 数据指标&#xff1a; 参考刘中华和黄斯琪等学者的做法&#xff0c;将当年企业总部所在省份被巡回法庭覆盖赋值为1&#xff0c;否则为0。数据提供两个版本excel版本和dta版本&#xff0c;还附…

【Emgu CV教程】10.14、ConnectedComponents()函数计算连通区域

文章目录 一、概念1.什么叫图像的连通区域2.提取连通区域的函数 二、简单应用1.原始素材2.代码3.运行结果4.连通区域上色 一、概念 1.什么叫图像的连通区域 图像的连通域是指图像中具有相同像素值并且位置相邻的像素组成的区域&#xff0c;连通域分析是指在图像中寻找出彼此互…

云工场上市在即:资产负债比率飙升,巨额分红3000万远超净利润

《港湾商业观察》施子夫 今年5月底&#xff0c;冲刺港交所上市的云工场科技控股有限公司&#xff08;以下简称&#xff0c;云工场&#xff09;通过聆讯。 6月5日&#xff0c;云工场宣布将于2024年6月5日至6月11日进行招股&#xff0c;预计在6月14日上市。公司计划发售1.15亿股…

MATLAB算法实战应用案例精讲-【数模应用】聚类分析(附MATLAB、python和R语言代码实现)

目录 几个高频面试题目 判别分析和聚类分析的区别 层次聚类和k-means聚类的对比 适用

MYSQL内存占用查询语句

可以通过以下 SQL 语句查询相关配置参数的当前值&#xff1a; InnoDB 缓冲池大小 (innodb_buffer_pool_size)&#xff1a; SHOW VARIABLES LIKE innodb_buffer_pool_size;最大连接数 (max_connections)&#xff1a; SHOW VARIABLES LIKE max_connections;临时表大小 (tmp_table…

【UE5.1 角色练习】11-坐骑——Part1(控制大象移动)

前言 在上一篇&#xff08;【UE5.1 角色练习】10-物体抬升、抛出技能 - part2&#xff09;基础上创建一个新的大象坐骑角色&#xff0c;并实现控制该角色行走的功能。 效果 步骤 1. 在商城中下载“African Animal Pack”资产和“ANIMAL VARIETY PACK”资产导入工程中 2. 复…

【deepin 邀您体验】玲珑 10 分钟快速构建指南!

玲珑 作为一种新型的独立包管理工具集&#xff0c;玲珑主要提供分层与隔离的运行环境&#xff0c;解决传统包管理系统强依赖导致的兼容性问题&#xff0c;以及权限松散导致的安全问题。当前&#xff0c;玲珑已支持 4 个发行版&#xff0c;包括 deepin、统信 UOS 以及 Debian 和…

golang 中的复合类型

前言 所有的api文档都可以使用bash命令 go doc 查看文档的帮助信息 从 Go 1.13 开始&#xff0c;godoc 不再随 Go 发行版一起安装&#xff0c;你需要单独安装它。 需要单独安装 1. go install golang.org/x/tools/cmd/godoclatest 2执行命令 godoc -http:1111 打开浏览器 http:…

MDK(μVsion3)问题总结及解决方法

问题 1&#xff1a;MDK 工具的 CARM 编译器&#xff1f; 我原来对 CARM 编译器比较熟悉&#xff0c;想用 CARM 编译器编译工程&#xff0c;但是却弹出一个不能执 行“cc”的错误&#xff0c;到 KEIL 网站查下才知道原因&#xff1a;由于 CARM 编译器是比较老的编译器&#xff0…

java之基础2笔记

1 类型转换 1.1 自动类型转换&#xff08;隐式类型转换&#xff09; 从小的数据类型到大的数据类型的转换&#xff08;如 int 到 long&#xff09;。 从低精度的数据类型到高精度的数据类型的转换&#xff08;如 float 到 double&#xff09;。 1.2 强制类型转换&#xff0…

什么是接地电阻柜呢?

接地电阻柜是一种用于保护电气设备和人身安全的设备&#xff0c;它可以有效地防止电气设备因接地故障而受到损害。 接地电阻柜的主要作用是将电气设备的接地电阻降低到安全范围内&#xff0c;以防止接地故障引起的火灾、爆炸等事故。接地电阻柜通常由接地电阻、接地母线、接地开…

pytest中钩子函数的使用

收集测试结果&#xff1a; 2. pytest_terminal_summary(terminalreporter, exitstatus,config) 在测试执行完毕后&#xff0c;用于生成并显示最终的测试摘要信息到终端&#xff0c;你可以实现自定义的测试报告汇总和显示。 例如&#xff1a;你可以在此钩子函数中计算测试用例…