MySQL 深度分页

文章目录

  • 一、深度分页
  • 二、测试数据
  • 三、分页策略
    • 3.1 默认分页
    • 3.2 索引分页
    • 3.3 子查询
    • 3.4 延迟关联

一、深度分页

MySQL 深度分页是指在分页查询数据量比较大的表时，需要访问表中的某一段数据，而这段数据的位置非常靠后，需要通过较大的 offset 来获取目标数据。

二、测试数据

-- 测试表
drop table if exists wide_table;
create table wide_table
(id          bigint auto_increment primary key,a           varchar(255),b           varchar(255),c           varchar(255),d           varchar(255),e           varchar(255),f           varchar(255),g           varchar(255),h           varchar(255),i           varchar(255),create_time datetime default current_timestamp
);

-- 插入十万条记录
delimiter //drop procedure if exists insert_data;
create procedure insert_data()
begindeclare i int default 1;while i <= 100000doinsert into wide_table (a, b, c, d, e, f, g, h, i)values (i, i, i, i, i, i, i, i, i);set i = i + 1;if i % 10000 = 0 thenselect i;end if;end while;
end //delimiter ;call insert_data();

三、分页策略

3.1 默认分页

默认分页即通过 limit #{offset}, #{pageSize} 或 limit #{pageSize} offset #{offset} 来进行分页。二者本质上都是全表扫描，MySQL 会依次取出 pageSize 条记录，然后判断其是否在 offset 后，如果不在则舍弃，继续过滤，所以效率低下。

test> select *from wide_tablelimit 80000, 100
[2024-01-18 14:55:42] 在 335 ms (execution: 298 ms, fetching: 37 ms) 内检索到从 1 开始的 100 行
test> select *from wide_tablelimit 100 offset 80000
[2024-01-18 14:55:43] 在 282 ms (execution: 233 ms, fetching: 49 ms) 内检索到从 1 开始的 100 行

explain
select *
from wide_table
limit 80000, 100;
# +--+-----------+----------+----------+----+-------------+----+-------+----+-----+--------+-----+
# |id|select_type|table     |partitions|type|possible_keys|key |key_len|ref |rows |filtered|Extra|
# +--+-----------+----------+----------+----+-------------+----+-------+----+-----+--------+-----+
# |1 |SIMPLE     |wide_table|null      |ALL |null         |null|null   |null|99551|100     |null |
# +--+-----------+----------+----------+----+-------------+----+-------+----+-----+--------+-----+explain
select *
from wide_table
limit 100 offset 80000;
# +--+-----------+----------+----------+----+-------------+----+-------+----+-----+--------+-----+
# |id|select_type|table     |partitions|type|possible_keys|key |key_len|ref |rows |filtered|Extra|
# +--+-----------+----------+----------+----+-------------+----+-------+----+-----+--------+-----+
# |1 |SIMPLE     |wide_table|null      |ALL |null         |null|null   |null|99551|100     |null |
# +--+-----------+----------+----------+----+-------------+----+-------+----+-----+--------+-----+

3.2 索引分页

索引分页即通过索引字段（一般选取主键）的范围查询以及比较操作进行分页，通过应用索引能够大幅缩短查询时间。

test> select *from wide_tablewhere id between 80000 and 80100
[2024-01-18 15:02:27] 在 224 ms (execution: 184 ms, fetching: 40 ms) 内检索到从 1 开始的 101 行
test> select *from wide_tablewhere id > 80000limit 100
[2024-01-18 14:58:34] 在 218 ms (execution: 185 ms, fetching: 33 ms) 内检索到从 1 开始的 100 行

explain
select *
from wide_table
where id between 80000 and 80100;
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+----+--------+-----------+
# |id|select_type|table     |partitions|type |possible_keys|key    |key_len|ref |rows|filtered|Extra      |
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+----+--------+-----------+
# |1 |SIMPLE     |wide_table|null      |range|PRIMARY      |PRIMARY|8      |null|101 |100     |Using where|
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+----+--------+-----------+explain
select *
from wide_table
where id > 80000
limit 100;
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+-----+--------+-----------+
# |id|select_type|table     |partitions|type |possible_keys|key    |key_len|ref |rows |filtered|Extra      |
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+-----+--------+-----------+
# |1 |SIMPLE     |wide_table|null      |range|PRIMARY      |PRIMARY|8      |null|39420|100     |Using where|
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+-----+--------+-----------+

3.3 子查询

索引分页的局限性在于待查询的表必须有一个自增长的主键，如果主键是 UUID 就无法进行索引分页了，此外在编码时还需要考虑索引断裂导致的重复查询。

我们也可以通过子查询来优化分页，即先通过默认分页操作找到限定的主键，这个操作能够利用主键索引而且只考虑主键这一个字段，因此效率比较高。然后在根据这个主键进行条件查询，从而得到分页数据。

test> select *from wide_tablewhere id >= (select id from wide_table limit 80000, 1)limit 100
[2024-01-18 15:03:34] 在 236 ms (execution: 202 ms, fetching: 34 ms) 内检索到从 1 开始的 100 行

explain
select *
from wide_table
where id >= (select id from wide_table limit 80000, 1)
limit 100;
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+-----+--------+-----------+
# |id|select_type|table     |partitions|type |possible_keys|key    |key_len|ref |rows |filtered|Extra      |
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+-----+--------+-----------+
# |1 |PRIMARY    |wide_table|null      |range|PRIMARY      |PRIMARY|8      |null|39420|100     |Using where|
# |2 |SUBQUERY   |wide_table|null      |index|null         |PRIMARY|8      |null|99551|100     |Using index|
# +--+-----------+----------+----------+-----+-------------+-------+-------+----+-----+--------+-----------+

3.4 延迟关联

延迟关联主要通过减少回表次数来提高查询效率。

分析下面的执行计划：

  • 第三行执行计划 id 最大最先执行，这是一个对 wide_table 表的索引扫描，只遍历索引而无需回表（可以理解为索引覆盖）。最终查询到了从第 80001 条记录开始的 100 条记录的主键，并将这些主键保存在临时表 wt 中。
  • 第一行执行计划对 wt 进行了全表扫描，获取了主键的查询结果集。
  • 第二行执行计划在 wt 中这 100 条主键记录的基础上，通过等值连接（延迟关联）回表获取到了最终的分页结果。

整个查询过程中只有最终的 100 条记录发生了回表，其余记录都只查询了 id 并被过滤掉了，提高了查询的效率。

test> select *from wide_tableinner join (select id from wide_table limit 80000, 100) as wton wide_table.id = wt.id
[2024-01-18 15:03:36] 在 241 ms (execution: 207 ms, fetching: 34 ms) 内检索到从 1 开始的 100 行

explain
select *
from wide_table
inner join (select id from wide_table limit 80000, 100) as wt
on wide_table.id = wt.id;
# +--+-----------+----------+----------+------+-------------+-------+-------+-----+-----+--------+-----------+
# |id|select_type|table     |partitions|type  |possible_keys|key    |key_len|ref  |rows |filtered|Extra      |
# +--+-----------+----------+----------+------+-------------+-------+-------+-----+-----+--------+-----------+
# |1 |PRIMARY    |<derived2>|null      |ALL   |null         |null   |null   |null |80100|100     |null       |
# |1 |PRIMARY    |wide_table|null      |eq_ref|PRIMARY      |PRIMARY|8      |wt.id|1    |100     |null       |
# |2 |DERIVED    |wide_table|null      |index |null         |PRIMARY|8      |null |99551|100     |Using index|
# +--+-----------+----------+----------+------+-------------+-------+-------+-----+-----+--------+-----------+

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/639981.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2024年轻人返乡创业潮，外卖平台市场需求是怎么样的？

2024年轻人返乡创业潮，外卖平台市场需求是怎么样的？

目前&#xff0c;县域经济正面临着几大利好。“返乡就业、返乡创业和告老还乡”现象越发普遍&#xff0c;这不仅在小县城中有所体现&#xff0c;同样在乡镇中也呈现出同样的趋势。一些产业链和工厂纷纷下沉到乡镇&#xff0c;带来了更多的就业机会。这不仅能够吸引年轻人回乡就…
阅读更多...
Spring Boot 4.0：构建云原生Java应用的前沿工具

Spring Boot 4.0：构建云原生Java应用的前沿工具

目录 前言 Spring Boot简介 Spring Boot 的新特性 1. 支持JDK 17 2. 集成云原生组件 3. 响应式编程支持 4. 更强大的安全性 5. 更简化的配置 Spring Boot 的应用场景 1. 云原生应用开发 2. 响应式应用程序 3. 安全性要求高的应用 4. JDK 17的应用 总结 作…
阅读更多...
【Java万花筒】代码安全护航：Java自动化测试与BDD

【Java万花筒】代码安全护航：Java自动化测试与BDD

自动化测试与行为驱动开发&#xff08;BDD&#xff09;库&#xff1a; 前言 在当今软件开发领域&#xff0c;自动化测试和行为驱动开发&#xff08;BDD&#xff09;已经成为确保软件质量和可维护性的不可或缺的一部分。Java开发者可以借助多种库和框架来实现自动化测试&#…
阅读更多...
CRM系统--盘点五大CRM客户管理系统

CRM系统--盘点五大CRM客户管理系统

在当今市场经济中&#xff0c;销售工作的重要性日益凸显&#xff0c;有效的客户管理成为了提升销售业绩的关键因素。面对日新月异的市场环境和客户需求的多样化&#xff0c;销售人员通常会面临以下问题&#xff1a; 接到了新的销售任务&#xff0c;该如何选择和确定目标客户&am…
阅读更多...
什么是线程？线程和进程有什么区别？在Java中如何创建线程？你能解释一下Java中的synchronized关键字吗？

什么是线程？线程和进程有什么区别？在Java中如何创建线程？你能解释一下Java中的synchronized关键字吗？

什么是线程&#xff1f;线程和进程有什么区别&#xff1f; 线程是操作系统进行运算调度的最小单位&#xff0c;它是进程中的实际运作单位。线程自己不拥有系统资源&#xff0c;只拥有一点在运行中必不可少的资源&#xff0c;但它可与同属一个进程的其它线程共享进程所拥有的全部…
阅读更多...
API协议设计的十种技术

API协议设计的十种技术

文章目录 前言一、REST二、GraphQL三、gRPC&#xff08;google Remote Procedure Calls&#xff09;四、Webhooks五、服务端的事件发送——SSE&#xff08;Server-sent Events&#xff09;六、EDI&#xff08;Electronic Data Interchange&#xff09;七、面向API 的事件驱动设…
阅读更多...
Visual Studio2022实用使用技巧集

Visual Studio2022实用使用技巧集

前言 对于.NET开发者而言Visual Studio是我们日常工作中比较常用的开发工具&#xff0c;掌握一些Visual Studio实用的搜索、查找、替换技巧可以帮助我们大大提高工作效率从而避免996。 Visual Studio更多实用技巧 https://github.com/YSGStudyHards/DotNetGuide 代码和功能搜…
阅读更多...
Verilog基础：强度建模与net型信号的多驱动问题（三）

Verilog基础：强度建模与net型信号的多驱动问题（三）

相关阅读 Verilog基础https://blog.csdn.net/weixin_45791458/category_12263729.html?spm1001.2014.3001.5482 四、一般情况下的net型信号的线与组合&#xff08;线网多驱动&#xff09; 在Verilog基础&#xff1a;强度建模与net型信号的多驱动问题&#xff08;二&#xff0…
阅读更多...
如何在Linux部署JumpServer堡垒机并实现远程访问本地服务

如何在Linux部署JumpServer堡垒机并实现远程访问本地服务

文章目录 前言1. 安装Jump server2. 本地访问jump server3. 安装 cpolar内网穿透软件4. 配置Jump server公网访问地址5. 公网远程访问Jump server6. 固定Jump server公网地址 前言 JumpServer 是广受欢迎的开源堡垒机&#xff0c;是符合 4A 规范的专业运维安全审计系统。JumpS…
阅读更多...
如何使用支付宝沙箱环境本地配置模拟支付并结合内网穿透远程调试

如何使用支付宝沙箱环境本地配置模拟支付并结合内网穿透远程调试

文章目录 前言1. 下载当面付demo2. 修改配置文件3. 打包成web服务4. 局域网测试5. 内网穿透6. 测试公网访问7. 配置二级子域名8. 测试使用固定二级子域名访问 正文开始前给大家推荐个网站&#xff0c;前些天发现了一个巨牛的 人工智能学习网站&#xff0c; 通俗易懂&#xff…
阅读更多...
如何自己实现一个Spring Boot Starter

如何自己实现一个Spring Boot Starter

现在很多开源的组件都会提供对应的 springboot-starter 包给我们去用&#xff0c;要做一个 starter 包并不难。参照Spring内置的实现就好了&#xff1a; 1、在工程里引入 starter 打包相关的依赖。 2、在我们工程内建 spring.factories 文件&#xff0c;编写我们配置类的全限类…
阅读更多...
使用代理加速docker pull

使用代理加速docker pull

创建配置目录和文件 docker pull是由守护进程dockerd执行&#xff0c;因此代理需添加在dockerd的systemd配置中。 sudo mkdir -p /etc/systemd/system/docker.service.d sudo touch /etc/systemd/system/docker.service.d/proxy.conf编辑proxy.conf文件 [Service] Environme…
阅读更多...
ubuntu源码安装MySQL

ubuntu源码安装MySQL

mysql下载路径 创建新数组 mysql sudo groupadd mysql# 创建用户 mysql ,指定属组为 mysql&#xff0c;禁止其登录 # --no-create-home选项&#xff0c;创建用户时不会自动创建主目录 sudo adduser --system --no-create-home --ingroup mysql --shell /sbin/nologin mysql创…
阅读更多...
安卓Spinner文字看不清

安卓Spinner文字看不清

Holo主题安卓13的Spinner文字看不清&#xff0c;明明已经解决了&#xff0c;又忘记了。 spinner.setOnItemSelectedListener(new Spinner.OnItemSelectedListener() {public void onItemSelected(AdapterView<?> arg0, View arg1, int arg2, long arg3) {TextView textV…
阅读更多...
基于CLIP4Clip的DRL的WTI模块实现

基于CLIP4Clip的DRL的WTI模块实现

关于DRL的WTI模块&#xff1a; Weighted Token-wise Interaction&#xff1a; 直觉上&#xff0c;并非所有的单词和视频帧都同等重要。我们提供一种自适应方法&#xff0c;来调整每个标记的权重大小&#xff1a; 注&#xff1a;其中两个f函数都是MLP和softmax构成。 WTI的算…
阅读更多...
网络安全的信息收集方法有哪些？

网络安全的信息收集方法有哪些？

网络安全攻击中的信息收集是攻击者为了了解目标系统的弱点、配置、环境和潜在的防御措施而进行的活动。以下是一些常见的信息收集手段&#xff1a; 开放网络资源查询&#xff1a; 使用搜索引擎查找关于目标组织的信息&#xff0c;包括新闻稿、社交媒体帖子、官方网站等。通过W…
阅读更多...
MyBatis Generator 类字段有数据库列的备注

MyBatis Generator 类字段有数据库列的备注

pom依赖 <dependency><groupId>org.mybatis.generator</groupId><artifactId>mybatis-generator-core</artifactId><version>1.3.7</version> </dependency> <dependency><groupId>mysql</groupId><art…
阅读更多...
140：vue+leaflet加载here地图（v2软件多种形式）

140：vue+leaflet加载here地图（v2软件多种形式）

第140个 点击查看专栏目录 本示例介绍如何在vue+leaflet中添加HERE地图（v2版本的软件），并且含多种的表现形式。包括地图类型，文字标记的设置、语言的选择、PPI的设定。 v3版本和v2版本有很大的区别，关键是引用方法上，请参考文章尾部的API链接。 直接复制下面的 vue+leaf…
阅读更多...
【华为 ICT HCIA eNSP 习题汇总】——题目集7

【华为 ICT HCIA eNSP 习题汇总】——题目集7

1、一台 PC 的 MAC 地址是 5489-98FB-65D8 &#xff0c;管理员希望该 PC 从 DHCP 服务器获得指定的 IP 地址为192.168.1.11/24&#xff0c;以下命令配置正确的是&#xff08;&#xff09;。 A、dhcp static-bind ip-address 192.168.1.11 24 mac- address 5489-98FB-65D8 B、dh…
阅读更多...
Kafka-服务端-日志存储

Kafka-服务端-日志存储

基本概念 首先需要了解的是&#xff0c;Kafka使用日志文件的方式保存生产者发送的消息。每条消息都有一个offset值来表示它在分区中的偏移量&#xff0c;这个offset值是逻辑值&#xff0c;并不是消息实际存放的物理地址。 offset值类似于数据库表中的主键&#xff0c;主键唯一…
阅读更多...
最新文章

Copyright @ 2022~2023