MySQL实践——分页查询优化

问题现象

一个客户业务系统带有分页查询功能,但是随着查询页数的增加,越往后查询性能越差,有时一个查询可能需要1分钟左右的时间。分页查询的写法类似于:

select * from employees limit 250000,5000;

这是最传统的一种分页查询写法,但问题也是最多的。随着limit M,N值的增大,往往在越往后翻页的过程中速度越慢,原因是MySQL会读取表中的前M+N条数据,M越大,性能就越差。

这里多说几句,在服务的很多客户中,还是有很多客户使用这种传统的分页查询写法的,主要有两点原因:
①系统早期建设时数据量不大,性能问题没有暴露出来;
②很多开发商把这种写法固化到了产品框架中,导致后期开发人员根本不关心这类问题。

优化方案

1.普通优化写法

针对分页查询,我们可以使用最简单的一种优化写法:

select * from(select emp_no from employees limit 250000,5000) b, employees a where a.emp_no=b.emp_no;

优化后的分页查询写法,会先查询翻页中需要的N条数据的主键值(emp_no),然后根据主键值回表查询所需要的N条数据,在此过程中查询N条数据的主键id在索引中完成,所以效率会高一些。

2.业务优化写法

上面的写法虽然可以达到一定程度的优化,但还是存在性能问题。最佳的方式是在业务上进行配合修改为以下语句:

select * from employees where emp_no > #last_emp_no# order by emp_no limit 20;

采用这种写法,在页面上只能通过点击More来获得更多数据,而不是纯粹的翻页。因此,每次查询只需要使用上次查询出的数据中的id来获取接下来的数据即可,但这种写法需要业务配合。

3.性能对比

传统的分页查询写法:

mysql>select *from employees limit 250000,5000;
5000 rows in set(1.31 sec)

在这里插入图片描述
优化写法:

mysql>select * from(select emp_no from employees limit 250000,5000)b,employees awhere a.emp_no =b.emp_no;
5000 rows in set(0.94 sec)

在这里插入图片描述
从执行计划中可以看出,首先执行子查询中的employees表,根据主键做索引全表扫描,然后与a表通过emp_no做主键关联查询,相比传统写法中的全表扫描效率会高一些。从两种写法上能看出性能有一定的差距,虽然并不明显,但是随着数据量的增大,两者执行的效率便会体现出来。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/116578.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AD9371 官方例程HDL详解之JESD204B TX侧时钟生成 (三)

AD9371 系列快速入口 AD9371ZCU102 移植到 ZCU106 : AD9371 官方例程构建及单音信号收发 ad9371_tx_jesd -->util_ad9371_xcvr接口映射: AD9371 官方例程之 tx_jesd 与 xcvr接口映射 AD9371 官方例程 时钟间的关系与生成 : AD9371 官方…

GB28181学习(十一)——控制(PTZ、镜头、光圈等控制)

要求 源设备向目标设备发送控制命令,控制命令类型包括: 摄像机云台控制远程启动录像控制报警布防/撤防报警复位强制关键帧拉框放大/缩小看守位控制PTZ精准控制存储卡格式化目标跟踪软件升级设备配置 设备配置的内容包括: 基本参数视频参数范…

React TypeScript安装npm第三方包时,些包并不是 TypeScript 编写的

npm install types/包名称 例如:npm install types/jquery 学习链接

QSPI介绍

0 Preface/Foreword 1 QSPI介绍

Python 编程语言的介绍

Python 是一种高级、动态类型的解释型语言。由 Guido van Rossum 于1989年底发明,并在1991年首次发布。Python 的设计哲学强调代码的可读性和简洁的语法,特别是使用缩进来表示代码块,这使得开发者能够用更少的代码表达想法。 基础概念: 语法…

shell_38.Linux读取脚本名

读取脚本名 (1)示例 $ cat positional0.sh #!/bin/bash # Handling the $0 command-line parameter # echo This script name is $0. exit $ $ bash positional0.sh This script name is positional0.sh. $ (2)如果使用另一个命令来运行 shell 脚本,则命令…

Win10下基于VS2015编译SQLite3源码

一、下载SQLite SQLite SQLite Download Page 下载红框部分的3个文件 提示:这里有个 sglite-autoconf-3420000.tar.gz 是免编译版,想省事就下载这个,但我自己用这个老是编译不过 所以我这里不推荐这个了 二、配置SQLite 打开vs 2015或者其他…

Android Kotlin 协程初探 | 京东物流技术团队

1 它是什么(协程 和 Kotlin协程) 1.1 协程是什么 维基百科:协程,英文Coroutine [kəru’tin] (可入厅),是计算机程序的一类组件,推广了协作式多任务的子程序,允许执行被…

SqueezeNet 一维,二维网络复现 pytorch 小白易懂版

SqueezeNet 时隔一年我又开始复现神经网络的经典模型,这次主要复的是轻量级网络全家桶,轻量级神经网络旨在使用更小的参数量,无限的接近大模型的准确率,降低处理时间和运算量,这次要复现的是轻量级网络的非常经典的一…

【Node.js】暴露自定义响应头和预检请求的时机

1. 暴露自定义响应头 // server.js app.post(/api/user/hello, (req, res) > {res.setHeader(Access-Control-Allow-Origin, *)// 权限设置(如果有个多,用 ,隔开),暴露给前端res.setHeader(Access-Control-expose-…

muduo源码学习base——Atomic(原子操作与原子整数)

Atomic(原子操作与原子整数) 前置知识AtomicIntegerTget()getAndAdd()getAndSet() 关于原子操作实现无锁队列(lock-free-queue) 前置知识 happens-before: 用来描述两个操作的内存可见性 如果操作 X happens-before 操作 Y,那么 X 的结果对于…

React hooks介绍及使用

介绍: React hooks 是 React 16.8 版本引入的新特性,它允许你在无需编写类组件的情况下,能够使用状态和其他 React 特性。它是基于函数组件的,使得函数组件也能够拥有类组件的状态和生命周期等特性,同时减少了处理一些…

有奖招募——2023年度清华社“荐书官”活动今日开始了!

又到“1024程序员节”了,维护网络世界稳定和平的程序员大大们,辛苦了!生活难免有bug,来给彼此个hug~ 过完1024,这一年也快要结束了,岁末回顾又要提上日程。很多人都有整理年度书单的习惯,那么这…

架构风格区别-架构案例(五十九)

管道-过滤器和仓库的区别? 独立的数据仓库,处理流独立,处理数据用连接仓库工具数据与处理在一起,改动的话需要重启系统需要仓库工具与仓库连接,数据与处理分离,性能差可以支持并发连接访问仓库&#xff0c…

隐藏微信网页右上角的按钮、在微信网页中获取用户的网络状态,支付等

1.隐藏微信网页右上角按钮 <script type"text/javascript">document.addEventListener(WeixinJSBridgeReady,function onBridgeReady() {// 通过下面这个API隐藏右上角按钮WeixinJSBridge.call(hideOptionMenu); });document.addEventListener(WeixinJSBridge…

【经验分享】如何构建openGauss开发编译提交一体化环境

前文 本文适合对openGauss源代码有好奇心的爱好者&#xff0c;那么一个友好的openGauss源代码环境应该是怎么样的。openGauss的开发环境是如何设置的&#xff1f;openGauss的编译环境是如何构建的&#xff1f;如何向openGauss提交代码&#xff0c;笔者集合官方和几位博主实践提…

为什么要学习python?

Python是一种广泛使用的编程语言&#xff0c;它的简洁易读以及强大的功能使得它成为了许多人喜爱的编程语言之一。无论是初学者还是有经验的开发者&#xff0c;学习Python都是非常有价值的。在本篇博文中&#xff0c;我们将探讨学习Python的一些重要原因&#xff0c;并提供一些…

2023年【危险化学品生产单位主要负责人】考试报名及危险化学品生产单位主要负责人模拟考试题

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 危险化学品生产单位主要负责人考试报名考前必练&#xff01;安全生产模拟考试一点通每个月更新危险化学品生产单位主要负责人模拟考试题题目及答案&#xff01;多做几遍&#xff0c;其实通过危险化学品生产单位主要负…

cpp中this和*this区别

大家好&#xff0c;我叫徐锦桐&#xff0c;个人博客地址为www.xujintong.com。平时记录一下学习计算机过程中获取的知识&#xff0c;还有日常折腾的经验&#xff0c;欢迎大家访问。 this&#xff1a;是返回当前对象的地址&#xff08;指向当前对象的指针&#xff09;。 *this&a…

用nodejs爬虫台湾痞客邦相册

情景:是这样的,我想保存一些喜欢的小伙伴的照片,一张张保存太慢了, 所以我写了个js,放在国外服务器爬,国内的自己解决~ 使用方法 1.点相册随便一张, 复制url, 这张开始接下来的图片都会保存 /*** 2023年10月23日 22:58:44* 支持解析痞客邦相册* 只需要复制相册第一张图片的ur…