SQL 实战:分页查询的多种方式对比与优化

在处理大数据表时,分页查询是非常常见的需求。分页不仅可以提高用户体验,还能有效减少数据库查询返回的数据量,避免一次性加载大量记录引起的性能瓶颈。
然而,在数据量较大或复杂查询中,简单的分页方式可能导致性能下降。本文将探讨 SQL 中实现分页查询的不同方式,并对比它们的优缺点,帮助优化大数据量场景下的分页方案。


一、分页查询的常见方式

1. 基本分页方式:LIMIT OFFSET
  • 语法
SELECT * FROM orders  
ORDER BY order_date DESC  
LIMIT 10 OFFSET 20;  -- 跳过前 20 条,返回第 21~30 条
  • 说明LIMIT 指定返回的行数,OFFSET 指定跳过的行数。

2. 使用 ROW_NUMBER() 进行分页
  • 适用数据库:MySQL 8.0 及以上、SQL Server、PostgreSQL
  • 语法
WITH ordered_orders AS (  SELECT order_id, order_date,  ROW_NUMBER() OVER (ORDER BY order_date DESC) AS rn  FROM orders  
)  
SELECT *  
FROM ordered_orders  
WHERE rn BETWEEN 21 AND 30;
  • 说明
    • ROW_NUMBER() 为每一行分配唯一编号,可通过 WHERE 进行分页筛选。
    • 分页不受数据量影响,性能稳定。

3. 游标分页(基于主键或唯一索引)
  • 适用场景:持续查询下一页数据,适合前端“加载更多”方式。
  • 语法
SELECT * FROM orders  
WHERE order_date < '2024-01-01 00:00:00'  
ORDER BY order_date DESC  
LIMIT 10;
  • 说明
    • 基于主键或时间字段进行分页,避免大偏移量问题,性能更优。
    • 适合按时间或 ID 递增的分页加载,避免全表扫描。

4. 使用 SQL_CALC_FOUND_ROWS 计算总数
  • 语法
SELECT SQL_CALC_FOUND_ROWS * FROM orders  
LIMIT 10 OFFSET 20;  
SELECT FOUND_ROWS();
  • 说明
    • 查询结果同时计算总行数,减少一次额外的 COUNT(*) 查询。
    • 在 MySQL 8.0 以后不推荐,效率较低。


二、实战案例:大数据分页方案设计与优化


案例 1:简单分页(LIMIT OFFSET

需求描述
查询订单表中按下单日期排序的第 1001-1020 条订单记录。


SQL 实现

SELECT order_id, customer_id, order_date  
FROM orders  
ORDER BY order_date DESC  
LIMIT 20 OFFSET 1000;

优点

  • 简单直接,适合小数据量分页。

缺点

  • OFFSET 较大时(如 100000),性能下降显著。
  • 数据量越大,查询速度越慢,因为数据库仍需扫描前 OFFSET 行。


案例 2:使用 ROW_NUMBER() 实现分页

需求描述
查询订单表中,按订单金额降序排列的第 51-60 条记录。


SQL 实现

WITH cte_orders AS (  SELECT order_id, amount,  ROW_NUMBER() OVER (ORDER BY amount DESC) AS rn  FROM orders  
)  
SELECT * FROM cte_orders  
WHERE rn BETWEEN 51 AND 60;

优点

  • 即使数据量大,ROW_NUMBER() 也能有效避免大偏移量问题。
  • 使用 CTE(公用表表达式),代码更清晰。

缺点

  • 需要 SQL 8.0 以上版本或其他支持窗口函数的数据库。


案例 3:游标方式分页(基于索引分页)

需求描述
查询比上次加载时间更早的订单记录,每次加载 20 条记录。


SQL 实现

SELECT order_id, customer_id, order_date  
FROM orders  
WHERE order_date < '2024-05-01 00:00:00'  
ORDER BY order_date DESC  
LIMIT 20;

优点

  • 不依赖 OFFSET,即使数据量大也能快速查询。
  • 可动态加载下一页,避免重复数据查询。

缺点

  • 需要前端记录上一页最后一条数据的时间或 ID。


案例 4:SQL_CALC_FOUND_ROWS 计算总记录数

需求描述
查询订单表第 21-40 条记录,同时返回总记录数,用于前端分页展示。


SQL 实现

SELECT SQL_CALC_FOUND_ROWS order_id, customer_id  
FROM orders  
ORDER BY order_date DESC  
LIMIT 20 OFFSET 20;  SELECT FOUND_ROWS();

优点

  • 无需额外执行 COUNT(*) 查询,减少一次数据库交互。

缺点

  • MySQL 8.0 开始弃用,SQL_CALC_FOUND_ROWS 效率较低。


三、性能对比与优化策略


1. 性能对比
方式性能表现(小数据)性能表现(大数据)复杂性推荐场景
LIMIT OFFSET简单小数据量、简单分页
ROW_NUMBER()一般大数据量分页、多层次筛选
游标分页较复杂无限加载、动态分页
SQL_CALC_FOUND_ROWS简单需要总行数时(不推荐大数据量)


2. 大数据分页优化策略
  1. 避免深度分页
  • 限制最大 OFFSET,提供“跳页”或“前端加载更多”方式。
  • 使用游标或基于索引的分页方式逐步加载数据。
  1. 索引优化
  • 在分页查询涉及的字段上建立索引,提高数据检索效率。
CREATE INDEX idx_order_date ON orders(order_date);
  1. 改用 ROW_NUMBER()
  • 对于复杂多条件查询,使用窗口函数(如 ROW_NUMBER())替代 LIMIT OFFSET,能有效避免性能下降问题。
  1. 提前过滤数据
  • 分页前尽可能过滤不必要的数据,减少扫描行数。
SELECT * FROM orders  
WHERE status = 'completed'  
ORDER BY order_date DESC  
LIMIT 20 OFFSET 2000;


四、总结

  • 小数据量分页:使用 LIMIT OFFSET 简单高效。
  • 大数据量分页:优先选择游标或基于索引的分页方式,减少 OFFSET 扫描行数。
  • 复杂分页:使用 ROW_NUMBER() 结合 CTE 实现多层次分页,性能稳定,推荐大数据环境下使用。
  • 动态加载:基于唯一索引或时间字段的游标分页方式,在实际业务中更具实用性,避免性能瓶颈。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/891547.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

javaEE初阶————计算机是如何工作的

今天给大家带来javaEE初阶的知识&#xff0c;相信大家已经学完javaSE了吧&#xff0c;我们从本期博客开始为大家一一讲解&#xff0c;我们现在开始吧 我们作为程序员&#xff0c;大概了解这部分即可嗷 1&#xff0c;计算机的组成 祖师爷提出的&#xff1a; 冯诺依曼体系结构…

基于AI大模型的医院SOP优化:架构、实践与展望

一、引言 1.1 研究背景与意义 近年来,人工智能(AI)技术取得了迅猛发展,尤其是大模型的出现,为各个领域带来了革命性的变化。在医疗领域,AI 医疗大模型正逐渐崭露头角,展现出巨大的应用潜力。随着医疗数据的海量积累以及计算能力的大幅提升,AI 医疗大模型能够对复杂的…

【论文阅读-思维链的构造方法02】4.1.2 Automatic Construction-01

提示1&#xff1a;本篇博客中涉及4篇相关论文&#xff0c;预计阅读时间10分钟&#xff0c;望各位友友耐心阅读&#xff5e; 提示2&#xff1a;本篇所有涉及的论文已打包发布&#xff0c;不需要任何积分即可下载&#xff0c;指路 --> 论文集下载地址 大模型技术-思维链CoT …

uniapp——微信小程序,从客户端会话选择文件

微信小程序选择文件 文章目录 微信小程序选择文件效果图选择文件返回数据格式 API文档&#xff1a; chooseMessageFile 微信小程序读取文件&#xff0c;请查看 效果图 选择文件 /*** description 从客户端会话选择文件* returns {String} 文件路径*/ const chooseFile () &g…

Android GameActivity(NativeActivity)读写文件

最近研究native android相关内容&#xff0c;其中最棘手的就是文件读写问题&#xff0c;最主要的是相关的文档很少。这里写下我所知道的方法。 由于本人使用的是Android14[arm64-v8a]版本的设备,能访问的路径相当有限&#xff0c;如果想要访问更多的路径&#xff0c;就不得不申…

YOLO11改进 | 卷积模块 | ECCV2024 小波卷积

秋招面试专栏推荐 &#xff1a;深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 &#x1f4a1;&#x1f4a1;&#x1f4a1;本专栏所有程序均经过测试&#xff0c;可成功执行&#x1f4a1;&#x1f4a1;&#x1f4a1; 本文给大家带来的教程是将YOLO11的Conv替…

从0开始的opencv之旅(1)cv::Mat的使用

目录 Mat 存储方法 创建一个指定像素方式的图像。 尽管我们完全可以把cv::Mat当作一个黑盒&#xff0c;但是笔者的建议是仍然要深入理解和学习cv::Mat自身的构造逻辑和存储原理&#xff0c;这样在查找问题&#xff0c;或者是遇到一些奇奇怪怪的图像显示问题的时候能够快速的想…

【Hadoop】Hadoop安全之Knox网关

目录 一、概述 2.1 knox介绍 2.2 版本信息 二、部署 三、验证Knox网关 3.1 Hdfs RESTFULL 3.2 HDFSUI 3.3 YARNUI 3.4 HBASEUI 一、概述 2.1 knox介绍 Apache Knox网关是一个用于与Apache Hadoop部署的REST api和ui交互的应用程序网关。Knox网关为所有与Apache Hadoop…

走方格(蓝桥杯2020年试题H)

【问题描述】在平面上有一些二维点阵。这些点的编号就像二维数组的编号一样&#xff0c;从上到下依次为第1~n行&#xff0c;从左到右依次为第1~m列&#xff0c;每个点可以用行号和列号表示。 现在有个人站在第1行第1列&#xff0c;他要走到第n行第m列&#xff0c;只能向右或者向…

uniapp Stripe 支付

引入 Stripe npm install stripe/stripe-js import { loadStripe } from stripe/stripe-js; Stripe 提供两种不同类型组件 Payment Element 和 Card Element&#xff1a;如果你使用的是 Payment Element&#xff0c;它是一个更高级别的组件&#xff0c;能够自动处理多种支…

Visual Studio 2022安装教程

1、下载网址 Visual Studio 2022 IDE安装网址借助 Visual Studio 设计&#xff0c;具有自动完成、构建、调试、测试功能的代码将与 Git 管理和云部署融为一体。https://visualstudio.microsoft.com/zh-hans/vs/ 点击图片所示 双击运行 2、安装 点击C桌面开发&#xff08;右边…

论文笔记PhotoReg: Photometrically Registering 3D Gaussian Splatting Models

1.abstract 最近推出的3D高斯飞溅(3DGS)&#xff0c;它用多达数百万个原始椭球体来描述场景&#xff0c;可以实时渲染。3DGS迅速声名鹊起。然而&#xff0c;一个关键的悬而未决的问题仍然存在&#xff1a;我们如何将多个3DG融合到一个连贯的模型中&#xff1f;解决这个问题将使…

数据结构(ing)

学习内容 指针 指针的定义&#xff1a; 指针是一种变量&#xff0c;它的值为另一个变量的地址&#xff0c;即内存地址。 指针在内存中也是要占据位置的。 指针类型&#xff1a; 指针的值用来存储内存地址&#xff0c;指针的类型表示该地址所指向的数据类型并告诉编译器如何解…

Synopsys软件基本使用方法

Synopsys软件基本使用方法 1 文件说明2 编译流程3 查看波形4 联合仿真 本文主要介绍Synopsys软件vcs、verdi的基本使用方法&#xff0c;相关文件可从 GitHub下载。 1 文件说明 创建verilog源文件add.v、mult.v、top.vmodule add (input signed [31:0] dina,input signed [3…

软件测试基础详解

&#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 “尽早的介入测试&#xff0c;遇到问题的解决成本就越低” 随着软件测试技术的发展&#xff0c;测试工作由原来单一的寻找缺陷逐渐发展成为预防缺陷&#xff0c;…

人工智能知识分享第六天-机器学习_​逻辑回归(Logistic Regression)

简介 在机器学习中&#xff0c;分类问题是一种常见的任务&#xff0c;目标是根据输入特征将数据点分配到不同的类别中。为了实现分类&#xff0c;我们需要训练一个分类器&#xff0c;该分类器能够根据输入数据的特征进行预测。 逻辑回归&#xff08;Logistic Regression&…

OpenCV-Python实战(11)——边缘检测

一、Sobel 算子 通过 X 梯度核与 Y 梯度核求得图像在&#xff0c;水平与垂直方向的梯度。 img cv2.Sobel(src*,ddepth*,dx*,dy*,ksize*,scale*,delta*,borderType*)img&#xff1a;目标图像。 src&#xff1a;原始图像。 ddepth&#xff1a;目标图像深度&#xff0c;-1 代表…

Docker- Unable to find image “hello-world“locally

Docker- Unable to find image “hello-world“locally 文章目录 Docker- Unable to find image “hello-world“locally问题描述一. 切换镜像1. 编辑镜像源2. 切换镜像内容 二、 检查设置1、 重启dockers2、 检查配置是否生效3. Docker镜像源检查4. Dokcer执行测试 三、自定义…

【UE5 C++课程系列笔记】19——通过GConfig读写.ini文件

步骤 1. 新建一个Actor类&#xff0c;这里命名为“INIActor” 2. 新建一个配置文件“Test.ini” 添加一个自定义配置项 3. 接下来我们在“INIActor”类中获取并修改“CustomInt”的值。这里定义一个方法“GetINIVariable” 方法实现如下&#xff0c;其中第16行代码用于构建配…

互慧-急诊综合管理平台 ServicePage.aspx 任意文件读取漏洞复现

0x01 产品简介 互慧急诊急救快速联动平台,是用于管理门诊急诊病人的系统,主要包括门诊急诊业务和急诊物资管理两部分,其中门诊急诊业务主要包括院前急救、院内抢救、留观监护、绿色通道、预检分诊等;急诊物资管理包括急诊药品管理、急诊设备管理、抢救车管理、急救箱管理、…