数据库高级知识——索引优化分析(二)

文章目录

    • 4.性能分析
      • 4.1 MySQL常见瓶颈
      • 4.2 Explain
    • 5.查询优化
      • 5.1 索引失效
      • 5.2 索引优化

4.性能分析

4.1 MySQL常见瓶颈

CPU :SQL中对大量数据进行比较、关联、排序、分组
IO:实例内存满足不了缓存数据或排序等需要,导致产生大量 物理 IO。查询执行效率低,扫描过多数据行。
锁:不适宜的锁的设置,导致线程阻塞,性能下降。死锁,线程之间交叉调用资源,导致死锁,程序卡住。
服务器硬件的性能瓶颈:top,free, iostat和vmstat来查看系统的性能状态

4.2 Explain

1.Explain是什么(查看执行计划)

使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的。
分析你的查询语句或是表结构的性能瓶颈

官网介绍

2. Explain能干嘛

表的读取顺序
哪些索引可以使用
数据读取操作的操作类型
哪些索引被实际使用
表之间的引用
每张表有多少行被优化器查询

3.explain怎么玩

Explain + SQL语句
mysql> select * from students;
+------+-------+
| id   | name  |
+------+-------+
|    1 | zhao1 |
|    2 | zhao2 |
|    3 | zhao3 |
+------+-------+
3 rows in set (0.00 sec)mysql> explain select * from students;
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+-------+
| id | select_type | table    | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra |
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+-------+
|  1 | SIMPLE      | students | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    3 |   100.00 | NULL  |
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+-------+
1 row in set, 1 warning (0.01 sec)
执行计划包含的信息
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+-------+
| id | select_type | table    | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra |
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+-------+
|  1 | SIMPLE      | students | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    3 |   100.00 | NULL  |
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+-------+
建表脚本CREATE TABLE t1(id INT(10) AUTO_INCREMENT,content  VARCHAR(100) NULL ,  PRIMARY KEY (id));CREATE TABLE t2(id INT(10) AUTO_INCREMENT,content  VARCHAR(100) NULL ,  PRIMARY KEY (id));CREATE TABLE t3(id INT(10) AUTO_INCREMENT,content  VARCHAR(100) NULL ,  PRIMARY KEY (id));CREATE TABLE t4(id INT(10) AUTO_INCREMENT,content  VARCHAR(100) NULL ,  PRIMARY KEY (id));INSERT INTO t1(content) VALUES(CONCAT('t1_',FLOOR(1+RAND()*1000)));INSERT INTO t2(content) VALUES(CONCAT('t2_',FLOOR(1+RAND()*1000)));INSERT INTO t3(content) VALUES(CONCAT('t3_',FLOOR(1+RAND()*1000)));INSERT INTO t4(content) VALUES(CONCAT('t4_',FLOOR(1+RAND()*1000)));

4.各字段解释

4.1 id

select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序

三种情况:

1.id相同,执行顺序由上至下

在这里插入图片描述

id相同,执行顺序由上至下  
此例中 先执行where 后的第一条语句 t1.id = t2.id 通过 t1.id 关联 t2.id 。
而t2.id 的结果建立在 t2.id=t3.id 的基础之上。
2.id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行

在这里插入图片描述

id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
3.id相同不同,同时存在

在这里插入图片描述

id如果相同,可以认为是一组,从上往下顺序执行;
在所有组中,id值越大,优先级越高,越先执行衍生表 = derived2 --> derived + 2 (2 表示由 id =2 的查询衍生出来的表。type 肯定是 all ,
因为衍生的表没有建立索引)

4.2 select_type

select_type有哪些?

在这里插入图片描述
查询的类型,主要是用于区别普通查询、联合查询、子查询等的复杂查询

类型说明
SIMPLE简单的 select 查询,查询中不包含子查询或者UNION
PRIMARY查询中若包含任何复杂的子部分,最外层查询则被标记为Primary
DERIVED在FROM列表中包含的子查询被标记为DERIVED(衍生) 。MySQL会递归执行这些子查询, 把结果放在临时表里。
SUBQUERY在SELECT或WHERE列表中包含了子查询
DEPENDENT SUBQUERY在SELECT或WHERE列表中包含了子查询,子查询基于外层
UNCACHEABLE SUBQUREY无法被缓存的子查询
UNION若第二个SELECT出现在UNION之后,则被标记为UNION;若UNION包含在FROM子句的子查询中,外层SELECT将被标记为:DERIVED
UNION RESULT从UNION表获取结果的SELECT

4.3 table

显示这一行的数据是关于哪张表的

4.4 type 访问类型

显示查询使用了何种类型,
type显示的是访问类型,是较为重要的一个指标,结果值从最好到最坏依次是: system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery 
> range(尽量保证) > index > ALL 常用的:system>const>eq_ref>ref>range>index>ALL
一般来说,得保证查询至少达到range级别,最好能达到ref。
类型说明
system表只有一行记录(等于系统表),这是const类型的特列,平时不会出现,这个也可以忽略不计
const表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快如将主键置于where列表中,MySQL就能将该查询转换为一个常量
eq_ref唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描
ref非唯一性索引扫描,返回匹配某个单独值的所有行.本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体
range只检索给定范围的行,使用一个索引来选择行。key 列显示使用了哪个索引。一般就是在你的where语句中出现了between、<、>、in等的查询这种范围扫描索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,而结束语另一点,不用扫描全部索引。
indexFull Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小。(也就是说虽然all和Index都是读全表,但index是从索引中读取的,而all是从硬盘中读的)
allFull Table Scan,将遍历全表以找到匹配的行

4.5 possible_keys

显示可能应用在这张表中的索引,一个或多个。
查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用

4.6 key

实际使用的索引。如果为NULL,则没有使用索引
查询中若使用了覆盖索引,则该索引和查询的select字段重叠
对比下图两个 sql 语句。和 key 的值:当查询具体某一字段时,且那个字段有索引时,key 值会显示为索引。 

在这里插入图片描述

4.7 key_len

表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。

EXPLAIN SELECT * FROM emp WHERE emp.deptno=109 AND emp.`ename`='AvDEjl'

在这里插入图片描述

如何计算

在这里插入图片描述

总结一下:char(30) utf8 --> key_len = 30*3 +1  表示 utf8 格式需要  *3 (跟数据类型有关)   允许为 NULL  +1  ,不允许 +0动态类型 +2  (动态类型包括 : varchar , detail text() 截取字符窜)

在这里插入图片描述

第一组:key_len=deptno(int)+null + ename(varchar(20)*3+动态  =4+1+20*3+2= 67
第二组:key_len=deptno(int)+null=4+1=5 

key_len字段能够帮你检查是否充分的利用上了索引

4.8 ref

显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值

4.9 rows

rows列显示MySQL认为它执行查询时必须检查的行数。

4.10 Extra

包含不适合在其他列中显示但十分重要的额外信息

5.查询优化

5.1 索引失效

索引的创建:

mysql> CREATE TABLE staffs (->   id INT PRIMARY KEY AUTO_INCREMENT,->   NAME VARCHAR (24)  NULL DEFAULT '' COMMENT '姓名',->   age INT NOT NULL DEFAULT 0 COMMENT '年龄',->   pos VARCHAR (20) NOT NULL DEFAULT '' COMMENT '职位',->   add_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '入职时间'-> ) CHARSET utf8 COMMENT '员工记录表' ;#staffs表的创建
mysql> INSERT INTO staffs(NAME,age,pos,add_time) VALUES('z3',22,'manager',NOW()); 
mysql> INSERT INTO staffs(NAME,age,pos,add_time) VALUES('July',23,'dev',NOW());
mysql> INSERT INTO staffs(NAME,age,pos,add_time) VALUES('2000',23,'dev',NOW());
mysql> INSERT INTO staffs(NAME,age,pos,add_time) VALUES(null,23,'dev',NOW());mysql> ALTER TABLE staffs ADD INDEX idx_staffs_nameAgePos(name, age, pos);#索引的创建

索引的失效:

全值匹配我最爱最佳左前缀法则:
如果索引了多列,要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。不在索引列上做任何操作(计算、函数、(自动or手动)类型转换),会导致索引失效而转向全表扫描存储引擎不能使用索引中范围条件右边的列尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致)),减少select *mysql 在使用不等于(!= 或者<>)的时候无法使用索引会导致全表扫描is not null 也无法使用索引,但是is null是可以使用索引的字符串不加单引号索引失效少用or,用它来连接时会索引失效like以通配符开头('%abc...')mysql索引失效会变成全表扫描的操作

索引失效总结:

 假设index(a,b,c)
Where语句索引是否被使用
where a = 3Y,使用到a
where a = 3 and b = 5Y,使用到a,b
where a = 3 and b = 5 and c = 4Y,使用到a,b,c
where b = 3 或者 where b = 3 and c = 4 或者 where c = 4N
where a = 3 and c = 5使用到a, 但是c不可以,b中间断了
where a = 3 and b > 4 and c = 5使用到a和b, c不能用在范围之后,b后断了
where a = 3 and b like ‘kk%’ and c = 4Y,使用到a,b,c
where a = 3 and b like ‘%kk’ and c = 4Y,只用到a
where a = 3 and b like ‘%kk%’ and c = 4Y,只用到a
where a = 3 and b like ‘k%kk%’ and c = 4Y,使用到a,b,c

5.2 索引优化

单表查询优化

关联查询优化

1、保证被驱动表的join字段已经被索引,被驱动表  join 后的表为被驱动表  (需要被查询)2、left join 时,选择小表作为驱动表,大表作为被驱动表。但是 left join 时一定是左边是驱动表,右边是被驱动表
3、inner join 时,mysql会自己帮你把小结果集的表选为驱动表。mysql 自动选择。小表作为驱动表。因为 驱动表无论如何都会被全表扫描?。所以扫描次数越少越好
4、子查询尽量不要放在被驱动表,有可能使用不到索引。

子查询优化

有索引的情况下 用  inner join 是最好的  其次是 in  ,exists最糟糕无索引的情况下用 
小表驱动大表 因为join 方式需要distinct ,没有索引distinct消耗性能较大 
所以  exists性能最佳 in其次  join性能最差?无索引的情况下大表驱动小表
in 和 exists 的性能应该是接近的  都比较糟糕  exists稍微好一点 超不过5%     
但是inner join 优于使用了 join buffer 所以快很多
如果left join 则最慢

order by关键字优化

ORDER BY子句,尽量使用Index方式排序,避免使用FileSort方式排序尽可能在索引列上完成排序操作,遵照索引建的最佳左前缀如果不在索引列上,filesort有两种算法:mysql就要启动双路排序和单路排序

分页查询的优化—limit

GROUP BY关键字优化
group by实质是先排序后进行分组,遵照索引建的最佳左前缀
当无法使用索引列,增大max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置
where高于having,能写在where限定的条件就不要去having限定了。

去重优化

尽量不要使用 distinct 关键字去重:优化

详细内容:索引优化

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483139.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《经济学人》:2022年值得关注的22项新兴技术

来源&#xff1a;参考消息网英国《经济学人》网站11月8日发表题为《下一个是什么&#xff1f;2022年值得关注的22项新兴技术》的文章。在文章列举的22项新技术中&#xff0c;既有今年大热的“元宇宙”、太空旅游、脑机接口&#xff0c;也有备受期待的量子计算、艾滋病病毒疫苗……

郭瑞东 | 如何制造更聪明的人工智能?让人工生命在复杂环境中进化

来源:集智俱乐部作者:郭瑞东我们都知道大脑是控制身体的中枢&#xff0c;或者夸张点说&#xff0c;身体只是大脑的傀儡。然而事实果真如此吗&#xff1f;认知科学指出&#xff0c;人类并不总是“先知后行”&#xff0c;很多时候也会“先行后知”&#xff0c;身体在塑造精神方面…

行业观察 | 机器人Ameca挣脱「灵魂」枷锁觉醒?

来源&#xff1a;新智元编辑&#xff1a;小咸鱼 桃子或许你根本不敢想像机器人真正苏醒时的样子。活动肩骨后&#xff0c;突然间灵魂附体&#xff0c;大梦初醒般睁开双眼。先是紧皱眉头&#xff0c;后是做出惊讶不已的表情&#xff0c;让人不得不惊呼《西部世界》来了...「我是…

数据结构与算法——二分查找与二叉排序树

文章目录1.预备知识1.1 题目目录1.2 二分查找1.3 递归二分查找1.4 循环二分查找1.5 二叉查找&#xff08;排序&#xff09;树1.6 二叉搜索树的代码实现2.搜索插入位置2.1 题目描述2.2 C代码实现3.区间查找3.1 题目描述3.2 算法思路3.3 C代码实现4.旋转数组查找4.1 题目描述4.2 …

Django-C001-快速入门

此文章完成度【100%】留着以后忘记的回顾。多写多练多思考&#xff0c;我会努力写出有意思的demo&#xff0c;如果知识点有错误、误导&#xff0c;欢迎大家在评论处写下你的感想或者纠错。 Django Django是一个开放源码的Web应用框架&#xff0c;由Python写成&#xff0c;采用M…

Nature子刊:吃得越少,活得越久

来源&#xff1a;六六脑我们如何才能在年老体迈时保持健康和尽可能延长寿命&#xff1f;现在&#xff0c;研究衰老的科学家们已经给出了简单的答案&#xff1a;少吃点儿&#xff01;常言道&#xff0c;千金难买老来瘦。的确&#xff0c;经验与科学实验都告诉我们&#xff0c;成…

数据库高级知识——MySql锁机制

文章目录1.概述1.1 定义1.2 锁的分类2.三锁2.1 表锁(偏读)2.2 行锁(偏写)2.3 页锁1.概述 1.1 定义 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中&#xff0c;除传统的计算资源&#xff08;如CPU、RAM、I/O等&#xff09;的争用以外&#xff0c;数据也是一…

最早的神经元从何而来?海绵基因图谱揭示神经系统起源

来源&#xff1a; 集智俱乐部作者&#xff1a;Viviane Callier译者&#xff1a;陈斯信 审校&#xff1a;梁金 编辑&#xff1a;邓一雪 导语海绵是动物生命演化树上最早的分支谱系之一&#xff0c;它们身体构造简单&#xff0c;却拥有许多与人类和其它复杂生物相同的基因。11月…

数据库高级知识——主从复制

文章目录1.复制的基本原理1.1 复制的原理和步骤2.复制的基本原则3.复制的最大问题4.一主一从常见配置4.1 主机修改my.ini配置文件4.2 从机修改my.cnf配置文件4.3 重启和关闭防火墙4.4 在Windows主机上建立帐户并授权slave4.5 在Linux从机上配置需要复制的主机4.6 关闭1.复制的基…

FrostSulliven最新发布引领全球增长的60大技术

来源&#xff1a;必达智库图片来源&#xff1a;网络沙利文特别推出“引领全球增长的60大技术”报告&#xff0c;该报告涵盖了环境与可持续发展、能源与公共事业、化学与新型材料、信息与通信技术、高端制造与自动化、传感器和仪器设备、健康领域、医疗器械与影响以及微电子等九…

GitHub基础——下载和上传

文章目录1.下载2.上传2.1 新建一个仓库2.2 上传2.3 拖拽1.下载 1.进入要下载的文件夹 2.右键&#xff0c;Git Bash Here&#xff0c;进入git bash 3.输入下载命令 19072LAPTOP-688SMNV8 MINGW64 /f/github download/设计模式 $ git clone https://github.com/rhyspang/CPP-De…

引导直觉解决数学猜想难题,DeepMind登上《Nature》封面

来源&#xff1a;机器之心编辑&#xff1a;nhyilin多年来&#xff0c;数学家们一直使用计算机来生成数据以帮助搜索数学模式&#xff0c;这种被称为实验数学的研究方法产生出许多重要的猜想&#xff0c;例如BSD猜想。虽然这种方法已经取得成功并且相当普遍&#xff0c;但从这些…

Centos6.5硬盘故障修复

以企业Centos6.5Linux为案例来修复系统&#xff0c;步骤如下&#xff1a; &#xff08;1&#xff09;远程备份本地其他重要数据&#xff0c;出现只读文件系统&#xff0c;需要先备份其他重要数据基于rsync|scp远程备份&#xff0c;其中/data为源目录&#xff0c;/data/backup/2…

认知AI的兴起:2025年AI将会发生质的飞跃

来源&#xff1a; Gadi Singer自 1956 年 AI 的概念首次被提出&#xff0c;至今已有 60 多年的发展史。如今&#xff0c;随着相关理论和技术的不断革新&#xff0c;AI 在数据、算力和算法 “三要素” 的支撑下越来越多地走进我们的日常生活。但是&#xff0c;这一系列惊喜的背后…

不上市就等死?AI故事难讲,豪门盛宴背后的“血”与“泪”

图片来源&#xff1a;视觉中国来源&#xff1a;帮尼资讯 部分参考来源&#xff1a;福布斯中国、凤凰网财经、前瞻产业研究院&#xff0c;图片来源网络最近&#xff0c;商汤港股IPO终于迎来新进展。12月7日&#xff0c;商汤集团在香港启动公开发售。据悉&#xff0c;香港公开发售…

windows下搭建vue开发环境

安装node.js 包管理器 到官网 下载安装包直接默认安装&#xff0c;安装完成后验证是否正常安装。打开命令提示符&#xff1a; 输入node -v。 如果显示版本号则证明安装完成。安装vue 打开命令提示符输入&#xff1a; npm install vue全局安装 vue-cli npm install --global vue…

中科院发布11大领域171个热点和新兴前沿!有你的研究方向吗?

来源&#xff1a;科学网12月8日&#xff0c;中国科学院科技战略咨询研究院、中国科学院文献情报中心与科睿唯安联合向全球发布了《2021研究前沿》报告和《2021研究前沿热度指数》报告。《2021研究前沿》报告遴选展示了在农业科学、植物学和动物学&#xff0c;生态与环境科学&am…

Reparameterization Trick

目录 Sample() is not differentiableReparameterization trickToo ComplexSample() is not differentiable 现在我们得到的不是一个向量&#xff0c;得到的是一个分布&#xff0c;而分布是无法使用梯度下降的Reparameterization trick Too Complex 转载于:https://www.cnblogs…

DeepMind 打造 AI 游戏系统,可以玩扑克、国际象棋、围棋等,战斗力爆表

来源&#xff1a;AI科技大本营&#xff08;ID:rgznai100&#xff09;编译&#xff1a;禾木木谷歌母公司 Alphabet 的人工智能实验室 DeepMind 长期以来一直投资于游戏人工智能系统。实验室的理念是&#xff0c;游戏虽然缺乏明显的商业应用&#xff0c;但却是认知和推理能力的独…

OO第四单元——UML及其解析器——总结 暨 OO课程大总结

第四单元总结 第四单元主要内容是写代码解析UML&#xff0c;因此需要理解UML UML相关 starUML的储存方式是一个.mdj文件&#xff0c;通过使用文本编辑器观察这个文件&#xff0c;我们可以看出这是一个json格式储存的文件。 通过把.mdj后缀名改为.json&#xff0c;可以更加直观地…