高性能的MySQL(6)查询慢与重构查询

只有好的库表结构、合理的索引还不够,我们还需要合理的设计查询,齐头并进,一个不少才能充分发挥MySQL的优势。

一、查询为什么会慢?

每一个查询由一系列的子任务组成,每个子任务都会消耗一定的时间。这个我们在之前的单个查询分析时已经简单介绍了,当然还有额外的因素,比方说包括网络,CPU计算,统计信息,执行计划,锁等待等操作,或者底层引擎在调用内存,CPU操作,I/O操作等上的消耗时间。、

优化查询的目的就是减少和消除这些操作所花费的时间。

查询性能低下的最基本原因是访问的数据太多,大部分的性能低下的查询可以通过减少访问的数据量进行优化,一般有2个简单的分析方法:

1、确认应用程序是否返回了大量超过需要的数据,这就是说访问了太多的行,也有时候是因为访问了太多的列,这会增加很多额外的开销,包括,网络,CPU,内存等。

一些常见的例子:

a、查询不需要的记录

一个常见的错误是常常会以为MySQL会只返回需要的数据,实际上却是先返回全部的查询结果再进行计算,一个简单有效的解决方法是在查询后面加上LIMIT。

b、多表关联时返回全部列

比如,要查找所有在电影hreo中出现的演员,不要这样去写

select * from actor
inner join film_actor using(actor_id)
inner join film using(film_id)
where film.title = "hreo";

这会返回三个表的全部列,应该只返回需要的列

select actor.* from actor
inner join film_actor using(actor_id)
inner join film using(film_id)
where film.title = "hreo";

c、不要总是取出全部的列

select * from actor....

d、重复查询相同的数据

例如在用户评论的地方需要查询用户的头像,如果用户多次评论,可能会反复查询这个数据,可以先缓存起来,这样会更好。


2、确认MySQL服务层是否在返回前检索大量超过需要的数据行。

如果查询为了返回结果扫描过多的数据,那么就不合适了,一般看3个指标:

a、响应时间

响应时间分为服务时间和排队时间。这个很难细分,如果是在一个合理的值,那就可以接受。

b、扫描的行和返回的行

这个在一定程度上能够说明该查询找到需要的数据效率怎么样。理想的情况下,扫描的行和返回的行是相同的,不过实际中这是很难的,特别是做关联查询时。

c、扫描的行和访问类型

在explain语句中的type列反应了访问类型。从全表扫描到索引扫描,范围扫描,唯一索引查询,常数引用等,速度从慢到快,扫描的行从大到小。一般我们增加一个合适的索引就可以很高效了。

CREATE TABLE `emp5` (`id` int(11) NOT NULL DEFAULT '0',`name` varchar(100) NOT NULL,`job` varchar(100) NOT NULL,`num1` int(10) DEFAULT NULL,`num2` int(10) DEFAULT NULL,`num3` int(10) DEFAULT NULL,`job_num` int(10) DEFAULT NULL,`d` date DEFAULT NULL,PRIMARY KEY (`id`),KEY `job_num` (`job_num`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

174912329.png

这里说明使用了索引类型,如果去掉了索引

175032172.png

访问类型为全表扫描(ALL)

一般MySQL能够使用如下三种方式应用where,从好到坏依次是

a、在索引中使用where过滤不匹配的数据,引擎层完成。

b、使用索引覆盖扫描,在Extra中出现了Using index,直接从索引中过滤掉不需要的记录,服务层完成,不需回表取数据。

c、从数据表返回数据,然后过滤,在Extra中出现了Using where ,在服务层完成。


二、重构查询

一个复杂查询还是多个简单查询,是否需要将一个复杂的查询分成多个简单的查询,这是一个需要好好衡量的问题了。

1、切分查询

删除数据就是一个很好的例子。定期的清楚大量的数据,可能需要锁住大量的数据,占满整个事务,耗尽资源,阻塞很多小的查询,切分是一个很好的办法。

比方说:把如下的句子

delete from message where create_time < date_sub(now(),interval 3 month);

换成如下:

rows_affected=0
do{rows_affected = do_query("delete from message where create_time < date_sub(now(),interval 3 month limit 10000"))
}while rows_affected > 0

一次删除10000行,影响就会很小,压力就会分担开来了。

2、分解关联查询

把关联查询进行分解,例如下面的查询:

select * from tag
join tag_post on tag_post.tag_id = tag_id
join post on tag_post.post_id = post.id
where tag.tag = 'hreo';

分解为:

select * from tag where tag = 'hreo';
select * from tag_post where tag_id=1234;
select * from post where id in (123,546,432);

乍一看,我们好像复杂化了,但是分解后还是有很多好处的,有的时候我们的却是需要这样做的 。

a、让缓存的效率更高,如果第一个查询的结果已经缓存了,那么就可以跳过第一个查询,另外对一MySQL的查询缓存Query Cache来说,如果关联的表发生了修改,就无法使用缓存了,拆分后,那么一个表的改变不会影响其他表的缓存。

b、单个查询可以减少锁的竞争。

c、在应用层做关联,有更好的扩展性。

d、可以减少冗余记录的查询,因为数据库关联查询时,可能需要重复的访问一部分数据。

e、这个相当于实现了哈希关联,而不是MySQL的嵌套循环关联,某些时候哈希关联效率高很多,这点以后会有介绍。

这个效果,在负载均衡,或者数据分布在不同的数据库是更明显。







本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/461971.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

生成n个从1到M(n = M)之间的不重复的随机数问题(洗扑克牌算法)

结合了对数组的使用、随机数生成等算法的知识。 学习这种由特殊到一般性的学习方法。面对复杂问题时候的逻辑僵滞和停顿。要加快速度锻炼这种缺陷&#xff0c;使之得到弥补。 思维僵滞的时候可以把问题联想成具体的模型&#xff0c;做到在脑海中有个具体的形象。这总比茫然一片…

CFLAGS详解

CFLAGS 表示用于 C 编译器的选项&#xff0c; CXXFLAGS 表示用于 C 编译器的选项。 这两个变量实际上涵盖了编译和汇编两个步骤。 CFLAGS&#xff1a; 指定头文件&#xff08;.h文件&#xff09;的路径&#xff0c;如&#xff1a;CFLAGS-I/usr/include -I/path/include。同样地…

一道大小端题目

今天看到一道关于大小端的题目&#xff0c;觉得很有趣&#xff0c;理解一番后摘抄如下&#xff1a; 题目&#xff1a; 示意图&#xff1a; 结果说明&#xff1a; 小端模式 大端模式

算法复杂度速查表

图例 数据结构操作 数组排序算法 图操作 堆操作 大 O 复杂度图表 Big O 复杂度 推荐阅读 Cracking the Coding Interview: 150 Programming Questions and Solutions[33] Introduction to Algorithms, 3rd Edition[34] Data Structures and Algorithms in Java (2nd Edition)…

求 s=a+aa+ aaa+ aaaa +aaaaa+........的值,a是从键盘输入的,项数也为键盘输入

总结&#xff1a;这道题目。主要是那个位数&#xff0c;需要*10&#xff0c; while&#xff08;i<f&#xff09;{ xy;//决定位数上的那个数 sumx//求和 y*10y;//决定位数 } package com.b;import java.util.Scanner; //输入一个数&#xff0c;如6 s666666666666666666666 6…

遇到异常:这可能是由某个扩展导致的

重构机房收费系统&#xff0c;我用EA画完UML图&#xff0c;打算用EA自己生成VB.NET代码&#xff0c;这样会方面些。没想到事情没有我想象的那么简单&#xff0c;可能是第一次尝试的原因&#xff0c;导入代码的过程中问题是一个接着一个。不过还好&#xff0c;虽然沿途困难重重&…

c++ 学习链接

1 chinaitlab实验室------c 2 转载于:https://www.cnblogs.com/javaspring/archive/2012/06/14/2656117.html

文件IO——文件IO相关概念

1、API &#xff08;1&#xff09;基于linux做应用开发&#xff0c;其实就是通过调用linux系统提供的API来实现。 &#xff08;2&#xff09;API 是一些由linux系统提供的函数&#xff0c;给应用层使用&#xff0c;以完成一定的功能。 &#xff08;3&#xff09;常用的文件IO的…

git使用小记

1. 基本操作 全局配置&#xff1a; git config --global user.name xx git config --global user.email xxx 初始化一个仓库&#xff1a; git init 添加&#xff1a; git add "file1.txt" git commit -m "添加文件1" 比较&#xff1a;分别列出每个文件…

LINUX内核之普通自旋锁

LINUX内核之普通自旋锁 CopyLeft by ICANTH&#xff0c;I Can do ANy THing that I CAN THink&#xff01;~ Author&#xff1a;WenHui&#xff0c;WuHan University&#xff0c;2012-6-15 PDF版阅读地址&#xff1a;http://www.docin.com/p1-424285718.html 普通自旋锁 自旋锁…

MFC COMBO-BOX最详细教程

找了好多&#xff0c;这是讲的最清楚的&#xff0c;与大家共享&#xff01; 转&#xff1a;https://blog.csdn.net/fym0121/article/details/7515862 当你只需从一列对象中选出一个时&#xff0c;使用COMBO BOX是一个好主意&#xff0c;因为它节省空间。这篇文章讲述了如何使…

uboot源码——主Makefile的分析

以下内容源于朱有鹏嵌入式课程的学习与整理&#xff0c;如有侵权请告知删除。 参考博客&#xff1a;u-boot Makefile完全解读_williamwang2013的博客-CSDN博客 参考博客&#xff1a;U-boot主Makefile分析_XiaoBaWu的博客-CSDN博客 参考博客&#xff1a;U-boot配置及编译阶段…

Designing Virtual Connect for vSphere 5.x

Designing Virtual Connect for vSphere 5.x如何在 HP C7000刀笼使用VC以满足vSphere 5.x 英文视频连接如下&#xff1a;http://professionalvmware.com/2013/05/vbrownbag-follow-up-designing-virtual-connect-for-vsphere-with-joe-clark-elgwhoppo/1&#xff1a;首先介绍一…

latin1

Latin1是ISO-8859-1的别名&#xff0c;有些环境下写作Latin-1。ISO-8859-1编码是单字节编码&#xff0c;向下兼容ASCII&#xff0c;其编码范围是0x00-0xFF&#xff0c;0x00-0x7F之间完全和ASCII一致&#xff0c;0x80-0x9F之间是控制字符&#xff0c;0xA0-0xFF之间是文字符号。I…

Gnuplot 简单使用

一 、最简单的例子 gnuplot>plot sin(x) 其中 gnuplot> 为命令提示符&#xff0c;不是命令的一部分&#xff0c; 二 、加入设置 1 、设置 x 、y 坐标的范围 改变坐标范围 set xrange [xmin:xmax] set yrange [ymin:ymax] 让 gnuplot 决定坐标轴范围 gn…

C语言和C++的区别

c语言虽说经常和c在一起被大家提起&#xff0c;但可千万不要以为它们是一个东西。现在我们常用的C语言是C89标准&#xff0c;C是C99标准的。C89就是在1989年制定的标准&#xff0c;如今最新的是C11和C11标准。根据不同的标准&#xff0c;它们的功能也会有所不同&#xff0c;但是…

“返回指向栈空间的指针”的错误

char *GetMemory(void) {char p[] "hello world";return p;//试图返回一个指向栈空间的指针 }

VMware vCenter Converter 关闭SSL加密,提高35-40%性能

VMware vCenter Converter 关闭SSL加密,提高35-40%性能原文&#xff1a;http://www.vmwarearena.com/2013/07/improving-transfer-rate-of-p2v-and-v2v.htmlVMware vCenter Converter Standalone 5.0 is a free tool from VMware to easily perform P2V(Physical to virtual co…

以下题目需要当场编写实现,,答案自己写

以下题目需要当场编写实现 1、 写一个通用方法把任何一个类似“abcdefg”的字符串倒叙排。 2、 把字符数组String[] str{“6”,”5”,”3”,”1”,”2”,”4”}中的字符数字按照从小到大调整位置。  两种方法 3、 用杨辉三角规律打一个数字三角型。 4、 把List容器中的数字元…

迭代之嵌套的for循环

/*主要内容: 1.在嵌套表达式中使用类型的运算符。 2.嵌套的for循环。*/ #include<iostream> usingnamespace std; int main() { int i,k,j,m; for(i1;i<5;i2)//递增表达式使增量每次增加2. { for(j1;j<4;j) { kij; cout<<"i"<<i<<…