分页优化的四种方式

转自:http://www.orczhou.com/index.php/2009/03/four-way-pager-display/

很久以前读了一篇关于分页的文章,后来越想越有道理,最近又重新找出来,并做了翻译,原文参考:Four ways to optimize paginated displays.

翻译背景:在大数据量的情况下,原本很简单的分页如果没有处理好,你会发现分页的请求会消耗你大量的数据库时间。如果你遇到了这个问题,文章给了你几个很好的解决的方案。当然,初学者若能看完这篇文章,那么它会指导你写出更具有扩展性的分页代码。

全文概述:文中提到了分页的办法总结如下:

  1. 全部缓存查询结果。把查询结果全部缓存起来(例如文件缓存、静态化结果页面等)。
  2. 不详细显示总共有多少分页。这里有两个优化的技巧。其一每次在计算总条目的时候,我就固定查询501条,然后将前500条分页显示好,如果第501条确实存在,那么给出按钮 “查看更多...”(这种情况会很少)。其二,在每次列表本页面的时候,比如第一页我要显示1-20条,那么我查询出1-21条。如果第21条真的存在,我就给出"下一页"按钮,依次类推。

    事实上google就是这样做的。在查看第一页搜索结果的时候google只会显示前十页(共100个条目),并不显示搜索结果条目总共有多少:
    首页的分页显示
    查看第二页的时候,仅仅会多显示一页
    第二页的分页显示
  3. 通过EXPLAIN的"row"列来估算结果总共有多少条目。文章中称google是这样估算结果集的:google总结果集

全文译文:

 

在实际开发中,分页显示是我们最常遇到的优化问题之一。例如搜索结果、积分列表、排行榜等。分页的一般模型:在一个排序的结果集合(较大)中我们要显示其中连续20条目;并且需要显示 “下一页”、”上一页”的链接;有时候我们还需要显示,总共有多少个条目,一共分了多少页。

要给出这样一个完成显示,数据库的代价是很大的,有时候就为了显示这么一个分页,需要执行的SQL会比整个页面显示其他的全部SQL消耗还要大。
我曾遇到这样的案例:有一次在为我们的一个客户做Slow Query LOG分析的时候我们就发现:整个LOG 里面的SQL耗时6300s,其中两个主要的分页查询大约消耗了(2850 + 380)秒,占了整个Slow Query的50%。
分页没有处理好就是这么糟糕~.

我们来分析一下分页的一般情况:

#典型分页的SQL如下:
SELECT .... FROM ... ORDER BY .... LIMIT X, 20

如果ORDER BY部分没有能够用索引的话(这样的情况还是很多的),MYSQL就会做filesort,(注意这块的filesort,请参看:http://www.mysqlperformanceblog.com/2009/03/05/what-does-using-filesort-mean-in-mysql/);假想如果如果满足WHERE 条件的条目共有个百万的数量级的话,那么MYSQL就会取出这上百万的结果,临时存储、文件排序,然后再删除大大部分的数据保留其中的20个。当用户点击“下一页”的时候,上面的过程会完全重做一遍,只是取得结果向后偏了一点。要是你还想显示“总共有多少条目,共分多少页面”的话,一般是这样做(1)使用SQL_CALC_FOUND_ROWS (2)执行一个单独的SQL去计算行数。如果用户的每一次请求都执行以上的操作,可以想象当你的数据量越来越大的时候,情况会越来越糟。

事实上,有很多办法去优化上面的过程的。(关于这一点我之前我写过的一篇article on optimizing ranked data 。不过那篇文章里面介绍的办法实施起来比较困难。所以如果不是情况复杂和重要到一定程度,就不值得那样做。)那一般情况怎么办呢?除了索引、重组数据、SQL优化,我们还有两个大的方面可以考虑去做。其一,积极的把SQL的查询结果缓存起来,从而减少SQL执行;其二就是重新考虑一下你的分页就架构,在应用中,并不是每次都需要把分页的各个部分都完整显示出来的。例如你把从第1到50页的链接都给出来,很多时候用户根本不会直接去点击某一页。我们考虑的思路是指把最重要的部分先展示出来。

这样考虑的于是就有了下面四个优化的建议来提高性能

  1. 首次查询的时候缓存结果。这样情况就变得简单了,无论是结果条目的数量,总共的页面数量,还是取出其中的部分条目。
  2. 不显示总共有多少条目。Google搜索结果的分页显示就用了这个特性。很多时候你可能看了前几页,就够了。那么我可以这样,每次我都把结果限制在500条(这个数据越大 资源消耗越大)然后你每次查询的时候,都查询501条记录,这样,如果结果真有501个,那么我们就显示链接 “显示下500条记录”。
  3. 不显示总页面数。只给出“下一页”的链接,如果有下一页的话。(如果用户想看上一页的话,他会通过浏览器来回到上一页的)。那你可能会问我“不显示总页面数”怎么知道是不是有下一页呢?这里有一个很好的小技巧:你在每次显示你当前页面条目的时候你都多查询一条,例如你要显示第11-20个条目时,你就取出11-21条记录(多取一条,并不显示这多取的内容),那么当你发现第21条存在的时候就显示“下一页的链接”,否则就是末页了。这样你就不用每次计算总页面数量了,特别是在做缓存很困难的时候这样做效率非常好。
  4. 估算总结果数。Google就是这么做的,事实证明效果很好。用EXPLAIN 来解释你的SQL,然后通过EXPLAIN的结果来估算。EXPLAIN结果有一列”row”会给你一个大概的结果。(这个办法不是处处都行,但是某些地方效果是很好的)这些办法可以很大程度上减轻数据库的压力,而且对用户体验不会有什么影响。

这些办法可以很大程度上减轻数据库的压力,而且对用户体验不会有什么影响。

转载于:https://www.cnblogs.com/rollenholt/articles/3779195.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/260366.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用 VMControl 2.4 实现多网络的 Power 服务器捕捉和系统部署

VMControl 作为 IBM Systems Director 的一个高级管理器,提供了一系列的管理功能帮助 Power 管理员快速捕获部署虚拟机系统,进行虚拟化环境的管理。而现代的数据中心,出于安全性,网路负载等多重因素的考虑,一般会存在有…

iOS应用内付费(IAP)开发步骤列表

iOS应用内付费(IAP)开发步骤列表 前两天和服务端同事一起,完成了应用内付费(以下简称IAP, In app purchase)的开发工作。步骤繁多,在此把开发步骤列表整理如下。因为只是步骤列表,所以并不含详细的说明教程&#xff0c…

mysql工具的使用_产品操作MySQL入门篇-工具使用

MYSQL本资料为产品岗位作为日常工作参考,语言口语化At 2019/4/15 By David.Yang数据库怎么登录/管理?登录数据库的方式有多种,比如本地Client登录、通过数据库管理工具登录、通过浏览器访问数据库端WEB软件登录。通过各种方式登录后&#xff…

UIView使用UIMotionEffect效果

UIView使用UIMotionEffect效果 这个效果在模拟器上看不了,所以无法截图. UIViewMotionEffect.h UIViewMotionEffect.m // // UIViewMotionEffect.h // // Copyright (c) 2014年 Nick Jensen. All rights reserved. //#import <UIKit/UIKit.h>interface UIView (Moti…

java 观察者模式_Java技术干货分享:深入理解观察者模式原理与技术

来源&#xff1a;编程技术精选观察者模式(Observer Pattern)也叫做发布-订阅(Publish/Subscribe)模式、模型-视图(Model/View)模式。这个模式的一个最重要的作用就是解耦。也就是将被观察者和观察者进行解耦&#xff0c;使得他们之间的依赖性更小&#xff0c;甚至做到毫无依赖。…

python导入pyecharts错误没有pyecharts_python报No module named 'pyecharts'的错误怎么办?

问&#xff1a;导包的时候报No module named pyecharts的错误怎么办&#xff1f;答&#xff1a;报上述错误一般是因为pyecharts这个包没有下载成功&#xff0c;下面给大家介绍一下pyecharts库的安装与使用方法&#xff01;pyecharts是Python的数据可视化库&#xff0c;可以帮助…

java .listfiles_Java File.listFiles()

全屏Java Java File.listFiles()方法具有以下语法。public File [] listFiles()示例在下面的代码显示如何使用File.listFiles()方法。import java.io.File;// At: W w W. y I i ba I.C o mpublic class Main {public static void main(String[] args) {// create new fileFile …

java简单毕设_计算机毕业设计之自定义毕设课题需要如何确定工作量

“ 真正让导师满意的不是众多普通的功能&#xff0c;而是那一抹有创意的充满着生活气息的小功能。”自定义毕设课题&#xff0c;我觉得这是一种体现学生创新的一种很好的手段&#xff0c;但是有一些学生却因为脑海中没有积累足够多的专业知识以及也没有对现实生活进行足够的思考…

罗伯特·帕丁森Robert Pattinson(2)

2019独角兽企业重金招聘Python工程师标准>>> 转载于:https://my.oschina.net/Bettyty/blog/756873

网博士自助建站系统_自助建站:自助建站到底好还是不好?

自助建站到底好还是不好&#xff1f;很多想要做企业网站的企业都比较关心这个问题&#xff0c;因为自助建站便宜、快&#xff0c;有的自助建站做出来的效果还非常好&#xff0c;不输于定制的网站的效果&#xff0c;那为什么自助建站大都还很便宜呢&#xff1f;东西还好还便宜的…

HNU 11720 God Created The Integers

原题传送&#xff1a;http://acm.hnu.cn/online/?actionproblem&typeshow&id11720&courseid0 对于这条式子&#xff1a; 和下面的式子是等价的&#xff1a; Sp (p2 - 1) / 2 - (p - 1) / 4 那么求出Sp后有rp*Sp ≡ 1 (mod p)&#xff0c;用扩展GCD求出rp就行了。…

stm32例程_如何学习STM32?

阅读全文大约10min//封面为我现在使用的STM32型号&#xff1a;旗舰版 Stm32f103ZE//本文内容是对正点原子的资料整理参考资料&#xff1a;CM3权威指南/CM4权威指南&#xff08;ARM提供&#xff09;芯片参考手册 STM32F10x中文参考手册 芯片数据手册 STM32F103xCDE_DS_CH_V5.pdf…

TempDB为什么要根据CPU数目来决定文件个数

在SQL Server的世界中&#xff0c;SQL Server在Windows之上有一套自己的任务调度和资源分配系统&#xff0c;这使得SQL Server作为Windows的一个进程&#xff0c;却可以处理大量的并发&#xff0c;这些任务调度和资源分配非常像一个操作系统&#xff0c;因此SQL Server在Window…

java微博模拟登陆_java 模拟登录新浪微博(通过cookie)

这几天一直在研究新浪微博的爬虫&#xff0c;发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下&#xff0c;通过cookie直接访问自己的微博主页。微博登录的认证过程微博…

硬盘结构,主引导记录MBR,硬盘分区表DPT,主分区、扩展分区和逻辑分区,电脑启动过程...

filex的文件系统看的云里雾里&#xff0c;还是先总结下FAT的一些基本知识吧。硬盘结构硬盘有很多盘片组成&#xff0c;每个盘片的每个面都有一个读写磁头。如果有N个盘片。就有2N个面&#xff0c;对应2N个磁头(Heads)&#xff0c;从0、1、2开始编号。每个盘片的半径均为固定值R…

linux 客户机中不支持 unity_婚姻中的不理解,来源于夫妻双方情感支持的不同

很多女性在婚姻中往往觉得无法得到丈夫的理解&#xff0c;当遇到一些生活或者工作上的问题的时候&#xff0c;她们想要在情感上得到丈夫的支持和理解。但是很多丈夫对此可能并不了解和理解&#xff0c;更倾向于用理性帮助妻子解决问题。而女性所需要的帮助可能并不是解决问题的…

Linux中使用crontab命令启用自定义定时任务

一 简介Linux下的任务调度分为两类&#xff0c;系统任务调度和用户任务调度系统任务调度&#xff1a;系统需要定期执行的任务&#xff0c;比如重启、日志清理等&#xff0c;其配置文件是&#xff1a;/etc/crontab用户任务调度&#xff1a;某个用户需要定期执行的任务。用户可以…

PHP学习总结(14)——PHP入门篇之常用运算符

一、什么是运算符什么是运算符&#xff1f;运算符是告诉PHP做相关运算的标识符号。例如&#xff0c;你需要计算123乘以456等于多少&#xff0c;这时候就需要一个符号&#xff0c;告诉服务器&#xff0c;你需要做乘法运算。PHP中的运算符有哪些&#xff1f;PHP运算符一般分为算术…

百度时间显示_文章的发布时间对百度优化网站重要吗

文章的发布时间对百度优化网站重要吗&#xff1f;这个问题&#xff0c;相信很多初做网站优化的萌新朋友都会问到&#xff0c;以小匠个人的经历来分享这个问题的经验&#xff0c;小匠认为&#xff0c;文章的发布时间对优化网站是非常重要的&#xff0c;下面小匠将从实际经历来给…

循环链表解决约瑟夫环问题

约瑟夫环问题可以简单的使用数组的方式实现&#xff0c;但是现在我使用循环链表的方法来实现&#xff0c;因为上午看到一道面试题规定使用循环链表解决约瑟夫环问题。 什么是约瑟夫环&#xff1f; “约瑟夫环是一个数学的应用问题&#xff1a;已知n个人&#xff08;以编号1&…