SQL优化之深分页

SQL优化之深分页

我们都知道,大型项目中的SQL语句,应该尽量避免深分页。

那么问题就来了:

  1. 深分页的性能差在哪?
  2. 什么方案能避免深分页呢?

什么是深分页

深分页,即SQL查询过程中,使用的页数过深,数据库执行的过程中,需要遍历前面很多数据并跳过后,才返回数据的过程。

这种情况会导致SQL查询变慢;

深分页的性能问题

上面介绍了深分页的描述,那下面具体看下深分页的性能问题。

1、覆盖索引
select uid from user_info limit 100, 10;
select uid from user_info limit 10000, 10;
select uid from user_info limit 1000000, 10;
select uid from user_info limit 2000000, 10;

在这里插入图片描述

在查询语句能够命中覆盖索引的情况下,可以看到查询范围在[2000000,2000010]的10条数据,耗时近200ms。对于线上千万级的数据表来说,即使查询不需要回表,那也是妥妥的慢查询,

2、非覆盖索引
select * from user_info limit 100, 10;
select * from user_info limit 10000, 10;
select * from user_info limit 1000000, 10;
select * from user_info limit 2000000, 10;

在这里插入图片描述

同样的查询范围,对于需要回表的SQL查询,耗时提高了近4倍,查询效率更低。

深分页的优化

1、Inner Join

使用Inner Join提高深分页,原理是减少查询时的回表次数;

利用id的有序性,通过子查询获取到指定记录的一组id,再查询id对应的记录。

select * from user_info limit 2000000, 10;
select * from user_info
inner join (select uid from user_info limit 2000000, 10 
) as sub on sub.uid = user_info.uid;

在这里插入图片描述

2、边界记录

上面的Inner Join 用到了子查询,对性能还是有一定的影响;

如果业务中的页遍历是顺序的,没有跨页的情况,那可以考虑对每次查询接结果,记录返回的最大id,作为下一次查询的开始id。

这样就能避免子查询的使用,同时减少回表次数。

select * from user_info where id >= 2000010 limit 10;

在这里插入图片描述

总结

对于深分页问题,无论是使用Inner Join、还是记录上一个id,核心思路都是要降低回表次数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/45315.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

双连通性(算法篇)

算法之双连通性 双连通性 概念: 双连通性就是当删除图中的一个顶点,使图分割成两个图,则这个图就具有双连通性,而能导致图分割成多张图的顶点称为割点背向边:当一个顶点被访问时,选取该顶点其中一个未访…

3.Softmax回归

回归和分类 回归估计一个连续值 分类预测一个离散类别 Softmax回归实际是一个分类问题 从回归到多类分类 对类别进行一位有效编码 y [ y 1 , y 2 , ⋯ , y n ] T y[y_1,y_2,\cdots,y_n]^T y[y1​,y2​,⋯,yn​]T,如果是第i类,则值为1,否则为0 使用…

用户对生活的需求,是三翼鸟创新的起点

这两天又长知识了,学到了一个网络新梗:City不City。 它源自于一种新的打卡方式,用于表达对某个城市的态度或感受。比如你跟朋友在城市游荡时,就可以随口问句City不City啊?通常被释义为“洋不洋气”“ 时髦不时髦”。 …

cpp的cbp

.cbp 文件是 Code::Blocks 的项目文件。Code::Blocks 是一个开源的跨平台集成开发环境(IDE),主要用于 C、C 以及 Fortran 编程。.cbp 文件包含有关项目的所有配置信息,包括文件路径、编译选项、链接器设置等。 以下是 .cbp 文件的…

部署YUM仓库及NFS共享功能

目录 一、YUM仓库服务 1、YUM仓库概述 2、准备安装源 2.1、软件仓库的提供方式 2.2、 RPM软件包的来源 3、YUM主配置文件 4、软件卸载 5、YUM源的提供方式 5.1、配置本地YUM源仓库 5.2、配置ftp源 5.2.1、服务端配置 5.2.2、客户端配置 二、NFS共享存储 1、NFS基…

Git 删除包含敏感数据的历史记录及敏感文件

环境 Windows 10 Git 2.41.0 首先备份你需要删除的文件(如果还需要的话),因为命令会将本地也删除将项目中修改的内容撤回或直接提交到仓库中(有修改内容无法提交) 会提示Cannot rewrite branches: You have unstaged …

免费流程图工具 Draw.io Integration安装使用

Draw.io Integration 是 VS Code 上的一个插件,允许用户在 VS Code 中直接创建、编辑和查看 Draw.io 图表,如流程图、UML 图等。以下是 Draw.io Integration 插件在 VS Code 中的安装步骤: 安装步骤 确保 VS Code 已安装: 如果你…

YOLOv10训练自己的数据集(交通标志检测)

YOLOv10训练自己的数据集(交通标志检测) 前言相关介绍前提条件实验环境安装环境项目地址LinuxWindows 使用YOLOv10训练自己的数据集进行交通标志检测准备数据进行训练进行预测进行验证 参考文献 前言 由于本人水平有限,难免出现错漏&#xff…

每日一道算法题 204. 计数质数

题目 204. 计数质数 - 力扣(LeetCode) Python class Solution:def countPrimes(self, n: int) -> int:"""质数又称为素数,是一个大于1的自然数,除了1和它自身外,不能被其他自然数整除的数叫做质数…

【C++题解】1156 - 排除异形基因

问题:1156 - 排除异形基因 类型:数组基础 题目描述: 神舟号飞船在完成宇宙探险任务回到地球后,宇航员张三感觉身体不太舒服,去了医院检查,医生诊断结果:张三体内基因已被改变,原有…

Vscode连接存在私钥的远程服务器

编辑配置文件 # Read more about SSH config files: https://linux.die.net/man/5/ssh_configHost 172.17.x.xxxHostName 172.17.x.xxxUser xxxIdentityFile C:\Users\xxx\.ssh\xxx.pem会出现报错: Permissions 0644 for xxxx are too open. It is required that …

XML Schema 指示器

XML Schema 指示器 1. 引言 XML Schema 是一种用于定义 XML 文档结构和内容的语言。它提供了一种强大的方式来描述 XML 文档中允许的元素、属性和数据类型。XML Schema 指示器是在 XML Schema 定义中使用的一些特殊元素和属性,它们用于指示 XML 处理器如何解析和验证 XML 文…

vue-router路由路径

在配置 vue-router 路由时,path: ‘search’ 和 path: ‘/search’ 有不同的行为: 1.path: ‘search’: 这是一个相对路径。相对路径意味着这个路径是相对于父路径的。如果父路径是 /emergency,那么这个路由的完整路径是 /emergency/search…

QT 报错C2872: “byte“: 不明确的符号

这个错误提示是因为 byte 这个符号不明确,这种情况是由于代码中同时包含了多个同名符号的定义,编译器无法区分,从而导致错误。在这个问题中,可能是由于使用了 Winsock2.h 头文件中定义的 byte 宏与其他地方定义的 byte 符号重名&a…

Android Bitmap

在Android开发中,位图(Bitmap)是一个非常重要的图形处理对象,它用于在内存中存储图像数据。以下是关于Android中位图使用的一些关键点和方法: 一、获取位图 从资源文件中获取: 使用BitmapFactory类&#…

头歌资源库(24)插入加号

一、 问题描述 二、算法思想 可以使用动态规划来解决这个问题。 首先将数字串拆分为多个数字,用一个数组nums来存储每个数字。例如,数字串79846会被拆分为数组[7, 9, 8, 4, 6]。 然后定义一个二维数组dp,其中dp[i][j]表示在前i个数字中插入…

Java异常体系、UncaughtExceptionHandler、Spring MVC统一异常处理、Spring Boot统一异常处理

概述 所有异常都是继承自java.lang.Throwable类,Throwable有两个直接子类,Error和Exception。 Error用来表示程序底层或硬件有关的错误,这种错误和程序本身无关,如常见的NoClassDefFoundError。这种异常和程序本身无关&#xff0…

Java网络模型全扫盲

概述 讲述ava层面NIO基础知识,用作基础回顾所用 1. NIO概述 ​ 在Java中,NIO(Non-blocking I/O 或 New I/O)是Java SE 1.4及后续版本中引入的一套新的输入/输出操作API。 ​ 它与传统的IO模型相比,提供了更高的效率和…

【算法】二叉树-迭代法实现前后中序遍历

递归的实现就是:每一次递归调用都会把函数的局部变量,参数值和返回地址等压入调用栈中,然后递归返回的时候,从栈顶弹出上一次递归的各项参数,这就是递归为什么可以返回上一层位置的原因 可以用栈实现二叉树的前中后序遍历 1. 前序…

FastAPI 学习之路(四十四)WebSockets

我们之前的分析都是基于http的请求,那么如果是websockets可以支持吗,答案是可以的,我们来看下是如何实现的。 from fastapi import WebSocket, FastAPI from fastapi.responses import HTMLResponseapp FastAPI()html """&…