mysql优化之索引

索引官方定义:索引是帮助mysql高效获取数据的数据结构。

索引的目的在于提高查询效率,可以类比字典。

可以简单理解为:排好序的快速查找数据结构

在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这种数据结构以某种方式(引用)指向数据。
这样就可以在这些数据结构的基础上实现高级查找算法,这种数据结构就是索引。

例如将id加索引,在mysql数据库里开辟一块存储空间来存放索引数据,查询的时候如果根据id去查询,就要走这个索引库,在索引库找到之后,就能定位这条数据,因为索引库的每一项和数据库的物理地址是绑定的,你能找到这条索引,就能找到这条数据所对应的物理地址,就可以直接获取这条数据。

在这里插入图片描述
一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储在磁盘上。

索引结构

我们平常所说的索引,如果没有特别指明,都是指B树(多路搜索树,并不一定是二叉的)结构组织的索引。
其中聚集索引,次要索引,覆盖索引,复合索引,前缀索引,唯一索引默认都是使用B+树索引,统称索引。
当然,除了B+树这种类型的索引外,还有哈希索引等。

BTree索引、hash索引、full-text全文索引、R-Tree索引,我们只关注BTree索引

BTree索引检索原理

在这里插入图片描述
在这里插入图片描述

索引数据为什么快?

  1. 索引数据存放是有规则的,顺序的,
  2. 查询的时候是有些算法的,例如最简单的折半
    例如索引1-26,我们找16,
    折半先找13,16比13大,就找13-26的中间值,19,
    19比16大,就找13-19的中间值,16,就找着了

如果不使用索引,就是一条条找,得找16次才能找到

索引的优缺点

  • 优点
  1. 提高数据检索的效率,降低数据库的io成本
  2. 通过索引列对数据进行排序,降低数据排序的成本,降低了cpu的消耗
  • 缺点
  1. 实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空间的
    索引需要占物理空间,除了数据表占数据空间之外,每一个索引还要占一定的物理空间,如果要建立聚簇索引,那么需要的空间就会更大。

  2. 虽然索引大大提高了查询速度,却会降低更新表的速度,如对表进行增删改。
    因为更新表时,mysql不仅要保存数据,还要更新添加了索引列的字段,也会调整因为更新所带来的键值变化后的索引信息

  3. 创建索引和维护索引要耗费时间,这种时间随着数据量的增加而增加。
    索引只是提高效率的一个因素,如果你的mysql有大数据量的表,就需要花时间研究建立最优秀的索引,或优化查询

    例如我们猜测客户可能会按照这样的字段去查询,就把索引建到这个字段上面,但是后面根据点击率分析和客户所筛选的条件发现,经常查询另一个字段,索引就需要优化和调整。

什么时候需要/不需要创建索引?

需要创建索引

  • 主键自动建立唯一索引
  • 频繁作为查询条件的字段应该创建索引
  • 查询中排序、统计、分组的字段
  • 查询中与其他表关联的字段,外键关系建立字段

不需要创建索引

  • 表记录太少

  • 更新非常频繁的字段不适合创建索引

    除了更新数据本身外还需要更新BTree树,数据量大的话是很耗费资源的。

  • Where条件里用不到的字段不创建索引

  • 唯一性太差(字段好多都是同一个值)(在查询的时候会索引失效)的字段不适合单独(可以使用联合索引)创建索引,即使频繁作为查询条件;

索引能够极大的提高数据检索效率,也能够改善排序分组操作的性能,但是我们不能忽略的一个问题就是索引是完全独立于基础数据之外的一部分数据,更新数据会带来的IO量和调整索引所致的计算量的资源消耗。

在这里插入图片描述

索引分类

  1. 单值索引:一个索引只包含一个列,一个表可以有多个单列索引
  2. 唯一索引:索引列的值必须唯一(身份证号),但允许有空值
  3. 复合索引:一个索引包含多列
# 创建
CREATE [UNIQUE] INDEX indexName on myTable(columnname(length));
ALTER mytable ADD [UNIQUE] INDEX [indexName] ON (columnname(length));# 删除
DROP INDEX [indexName] ON mytable;# 查看
SHOW INDEX FROM tableName;# 四种方式来添加数据表的索引# 添加一个主键,代表索引值必须是唯一的,且不能为null
ALTER TABLE tbl_name ADD PRIMARY KEY(column_list);# 索引值必须是唯一的(除了null外,null可能会出现多次)
ALTER TABLE tbl_name ADD UNIQUE index_name(column_list);# 添加普通索引,索引值可重复
ALTER TABLE tbl_name ADD INDEX index_name(column_list);# 指定索引为FULLTEXT,用于全文索引
ALTER TABLE tbl_name ADD FULLTEXT index_name(column_list);

性能分析前提知识

mysql query optimizer mysq查询优化器

在这里插入图片描述

mysql常见瓶颈

在这里插入图片描述

explain 解释,查看sql执行计划

在这里插入图片描述
作用

  1. 表的读取顺序
  2. 数据读取操作的操作类型
  3. 哪些索引可以使用(哪些索引被实际使用)
  4. 表之间的引用
  5. 每张表有多少行被优化器查询

使用

mysql> explain select * from tbl_emp;
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
|  1 | SIMPLE      | tbl_emp | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    8 |   100.00 | NULL  |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
1 row in set, 1 warning (0.00 sec)# id(表的读取顺序)
# 	select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序。
#	id相同,执行顺序由上至下(就是说先加载的是tbl_dept表)
#		执行顺序和sql的编写顺序有没有关系暂时未知,测试的话是没有关系的
# 	id越大越先被执行,(如果是子查询,id的序号会递增)
#	id有相同有不同
# 		在一个sql语句中,id既有相同的,也有不同的
#		id相同,顺序执行,id越大越先被执行
#		出现这种情况实际上就是有一张虚表,就是查出一张表来给它取个别名,但是我和老师的sql一模一样就是结果不一样,有时间再看这个吧
mysql> explain select * from tbl_emp te, tbl_dept td where te.deptId=td.id;
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                                              |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
|  1 | SIMPLE      | td    | NULL       | ALL  | PRIMARY       | NULL | NULL    | NULL |    5 |   100.00 | NULL                                               |
|  1 | SIMPLE      | te    | NULL       | ALL  | fk_dept_id    | NULL | NULL    | NULL |    8 |    20.00 | Using where; Using join buffer (Block Nested Loop) |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
2 rows in set, 1 warning (0.00 sec)mysql> explain select * from tbl_dept where id=(select deptId from tbl_emp where id=1);
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
| id | select_type | table    | partitions | type  | possible_keys | key     | key_len | ref   | rows | filtered | Extra |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
|  1 | PRIMARY     | tbl_dept | NULL       | const | PRIMARY       | PRIMARY | 4       | const |    1 |   100.00 | NULL  |
|  2 | SUBQUERY    | tbl_emp  | NULL       | const | PRIMARY       | PRIMARY | 4       | const |    1 |   100.00 | NULL  |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
2 rows in set, 1 warning (0.00 sec)# select_type,表示select_type语句的类型(数据读取操作的操作类型)
#	simple,表示简单查询,其中不包含连接查询和子查询
#	primary,表示主查询,或者是最外面的查询语句(最后加载的那个)
# 	subquery,在select或where列表中包含了子查询
# 	derived,from列表包含的子查询,mysql会递归执行这些子查询,把结果放在临时表里。
#	union,若第二个select出现在union之后,则被标记为union;
#		若union包含在from子句的子查询中,外层select将被标记为derived
# union result 从union表获取结果的select# type,访问类型,显示查询使用了何种类型
# 从最好到最差依次是(以下是常见的,除此之外还有很多种):
# 一般来说,得保证查询至少打到range级别,最好能达到ref
# system > const > eq_ref > ref > range > index > all
#	system 表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,可以忽略不记#	const 表示通过索引一次就找到了,const用于比较primary key或者unique索引。
#		因为只匹配一行数据,所以很快
#		如将主键置于where列表中,mysql就能将该查询转换为一个常量。#	eq_ref 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描
#		例如两表连接,对外键设置索引,此时两表连接查询只查询到一条记录
#		例如员工表和部门表,而此时查的部门是ceo办公室,自然就只有一条记录
#简单地说是const是直接按主键或惟一键读取,eq_ref用于联表查询的状况,按联表的主键或惟一键联合查询。#	ref 非唯一性索引扫描,返回匹配某个单独值的所有行。#	range 只检索给定范围的行,使用一个索引来选择行
#		例如在where语句中出现between、<、>、in等的查询
#		这种范围扫描索引比全表扫描要好,因为它只需要开始于索引的某一点,而结束于另一点,不用扫描全部索引。#	index 与all区别为index类型只遍历索引树。这通常比all快,因为索引文件通常比数据文件小。#	all 全表扫描# possible_keys
#	显示可能应用在这张表中的索引,一个或多个。
#	查询涉及到字段上若存在索引,则该索引将被列出,但不一定被查询实际使用# key
#	实际使用的索引。如果为null,则没有使用索引
#	查询中若使用了覆盖索引,则该索引仅出现在key列表中
#		覆盖索引:sql语句中查询的字段和复合索引的字段、顺序都一致# key_len
#	表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好
#		精度的意思是,where后跟一个条件,索引长度肯定更小,但是精度也更小
#		如果再跟一个条件,索引长度大了,但是精度肯定高了
#	key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的# ref
#	显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值
#		这句话的意思是,如果那一列where后面的条件值是个常量的话就显示 const,否则就是列名# rows
#	根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数# filtered
#	存储引擎返回的数据在server层过滤后,剩下多少满足查询的记录数量的比例
#	只做参考,不需要刻意关注

extra 包含不适合在其他列中显示但十分重要的额外信息

# using filesort(不好,尽量消除)
#	说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序读取
#	mysql中无法利用索引完成的排序操作称为 文件排序
#		大概意思就是我们自己建立的索引因为一些原因没有或部分使用到,mysql内部自己又建立了一个索引

在这里插入图片描述
以上实例,索引的顺序如果和查询排序的字段一致的话,就不会出现 using filesort,效率就更高,反之则效率更低

# Using temporary(不好,尽量消除)
#	使用临时表保存中间结果,mysql在对查询结果排序时使用临时表。
#	常见于 order by 和 group by
# 	会加大空间的占用,影响效率

在这里插入图片描述

# using index
#	表示相应的select操作中使用了覆盖索引,避免访问了表的数据行,效率不错!
#	如果同时出现using where,表明索引被用来执行索引键值的查找
#	如果没有同时出现using where,表明索引用来读取数据而非执行查找动作# using where
#	使用了where过滤# using join buffer
#	使用了连接缓存
#	join使用过多,可以把配置文件的缓冲区调大
# # impossible where
#	where子句的值总是false,不能用来获取任何元组
#	例如 where name='zs' and name = 'ls'
#		一个人是不会有两个名字的

using filesort,using temporary, using index是重点,其他了解即可

demo

在这里插入图片描述
在这里插入图片描述

单表优化案例

/*
UNSIGNEDunsigned(无符号)是一种数据类型的修饰符。它可以用于整型数据类型,例如INT、BIGINT等。在无符号的二进制表示中,数据类型将仅仅包含非负整数。使用unsigned的主要好处是它可以在不改变数据类型的前提下,增加数据类型所能存储的最大值。例如,INTUNSIGNED的最大值为4294967295,而INT的最大值仅为2147483647。这可以极大地提高存储空间的利用率,并且可以避免使用较大的数据类型来存储小的非负整数。*/show tables;
CREATE TABLE if	NOT EXISTS article(id INT(10) UNSIGNED NOT NULL PRIMARY KEY auto_increment,author_id int(10) UNSIGNED NOT NULL,category_id int(10) UNSIGNED NOT NULL,views int(10) UNSIGNED NOT NULL,comments int(10) UNSIGNED NOT NULL,title VARBINARY(255) NOT NULL,content text NOT NULL)INSERT INTO article(`author_id`,`category_id`,`views`,`comments`,`title`,`content`) VALUES (1,1,1,1,'1','1'),
(2,2,2,2,'2','2'),
(3,3,3,3,'3','3')# 查询category_id为1且comments大于1的情况下,views最多的article_id
mysql> explain select id,author_id from article where category_id = 1 and comments>1 order by views desc limit 1;
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                       |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
|  1 | SIMPLE      | article | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    4 |    25.00 | Using where; Using filesort |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
1 row in set, 1 warning (0.00 sec)# 很显然,type all和Using filesort 都是最坏的情况,必须优化# 一眼看到这个题是应该创建category_id,comments,views的符合索引
#	索引确实被用到了,但是文件排序依然存在
#	原因是因为 > 会导致索引失效,使索引断了# 那我们就跳过它,只为其他两个字段建立复合索引
mysql> create index category_views on article (category_id,views);mysql> explain select id,author_id from article where category_id = 1 and comments=1 order by views desc limit 1;
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
| id | select_type | table   | partitions | type | possible_keys  | key            | key_len | ref   | rows | filtered | Extra       |
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
|  1 | SIMPLE      | article | NULL       | ref  | category_views | category_views | 4       | const |    2 |    25.00 | Using where |
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
1 row in set, 1 warning (0.00 sec)

这个说的是建立三个字段的索引的情况
在这里插入图片描述

正如丘吉尔所说,世界上没有永远的朋友,也没有永远的敌人,只有永恒的利益。

鬼吹灯
天下霸唱

部分知识引用自:
https://www.bilibili.com/video/BV1KW411u7vy/?p=5&spm_id_from=pageDriver&vd_source=64c73c596c59837e620fed47fa27ada7

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/86066.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

html和css相关操作

html第一个网页 <!DOCTYPE html> <!--html文档声明&#xff0c;声明此文档是一个html5的文档--> <html> <!--html文档开头标签--><head><!--html文档的设置标签&#xff0c;文档的设置及资源的引用都写在这个标签中--><meta charset&q…

[Pytorch]语义分割任务分类的实现

文章目录 [Pytorch]语义分割任务分类的实现 [Pytorch]语义分割任务分类的实现 假如我们定义了一个网络用于语义分割任务&#xff0c;这个网络简称为model() 语义分割任务要做的是&#xff1a; 对于一个图片输入input&#xff0c;大小为&#xff08;B&#xff0c;C&#xff0c…

如何快速走出网站沙盒期(关于优化百度SEO提升排名)

网站沙盒期是指新建立的网站在百度搜索引擎中无法获得好的排名&#xff0c;甚至被完全忽略的现象。这个现象往往发生在新建立的网站上&#xff0c;因为百度需要时间来评估网站的质量和内容。蘑菇号www.mooogu.cn 为了快速走出网站沙盒期&#xff0c;需要优化百度SEO。以下是5个…

IDEA .iml文件及.idea文件夹详解

.iml文件 idea 对module 配置信息之意&#xff0c; infomation of module。每个模块都有一个iml文件。 IDEA中的.iml文件是项目标识文件&#xff0c;缺少了这个文件&#xff0c;IDEA就无法识别项目。跟Eclipse的.project文件性质是一样的。并且这些文件不同的设备上的内容也会…

epoch,bach_size和iteration定义

文章目录 epoch&#xff1a;当一个完整的数据集通过了神经网络一次并且返回了一次&#xff0c;这个过程称为一个epoch.当一个epoch对于计算机来说太大的时候&#xff0c;就要把它分成多个小块&#xff08;即batch&#xff09;。batch&#xff1a;当不能将数据一次性通过神经网络…

3D成像技术概述

工业4.0时代,三维机器视觉备受关注,目前,三维机器视觉成像方法主要分为光学成像法和非光学成像法,这之中,光学成像法是市场主流。 飞行时间3D成像 飞行时间成像(Time of Flight),简称TOF,是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉…

力扣刷题-链表理论基础

什么是链表 什么是链表&#xff0c;链表是一种通过指针串联在一起的线性结构&#xff0c;每一个节点由两部分组成&#xff0c;一个是数据域一个是指针域&#xff08;存放指向下一个节点的指针&#xff09;&#xff0c;最后一个节点的指针域指向null&#xff08;空指针的意思&a…

python SCPClient 远程文件 到 本地

【python】之SCPClient库&#xff0c;远程文件copy&#xff01;_python scp_PP的博客-CSDN博客 import paramiko # 用于调用scp命令 from scp import SCPClient###实例化SSH sshparamiko.SSHClient() ssh.load_system_host_keys() ssh.set_missing_host_key_policy(paramiko.Au…

毫米波雷达 TI IWR1443 在 ROS 中进行 octomap 建图

个人实验记录 /mmwave_ti_ros/ros_driver/src/ti_mmwave_rospkg/launch/1443_multi_3d_0.launch <launch><!-- Input arguments --><arg name"device" value"1443" doc"TI mmWave sensor device type [1443, 1642]"/><arg…

minio文件上传

1.代码 大佬仓库&#xff1a;https://gitee.com/Gary2016/minio-upload?_fromgitee_search 关于这个代码的讲解&#xff1a;来自b站 2.准备minio 参考&#xff1a;[1]、[2] 2.1 下载 官网&#xff1a;https://min.io/download#/windows 2.2 启动 ①准备一个data文件夹…

HTML <video> 标签

实例 一段简单的 HTML5 视频: <video src="movie.ogg" controls="controls"> 您的浏览器不支持 video 标签。 </video>定义和用法 <video> 标签定义视频,比如电影片段或其他视频流。 浏览器支持 元素ChromeIEFirefoxSafariOpera&l…

Android开发笔记 :理解Fragment

Android开发笔记&#xff1a;理解Fragment 导言 本篇文章产生的原因很简单&#xff0c;就是我在了解Android Jetpack中的Lifecycle框架时发现Lifecycle具体时间和状态的更新都是由一个名为ReportFragment的Fragment来跟踪的&#xff0c;为了更好的了解Fragment是如何追踪Activ…

P1057 [NOIP2008 普及组] 传球游戏

原题链接&#xff1a;传球游戏 状态转移方程的定义非常重要&#xff0c;找到合适的定义方法&#xff0c;从何下手&#xff1f;从分析题目开始&#xff0c;最后一步是从何而来的&#xff1f;临界条件是什么&#xff0c;需要进一步思考 此题到达第一个人的时候只有两种情况&…

以太网协议

以太网 以太网协议格式&#x1f3a8;目的地址,源地址mac地址格式 以太网协议格式&#x1f3a8; 目的地址,源地址 此处的地址,叫做mac地址(物理地址),长度是6个字节 mac地址的作用也是用来区分不同的主机 IP地址的长度是4字节 IP地址负责网络层(整体)转发,mac地址负责数据链路层…

pytest框架运行时的参数,以及多线程分布式运行用例、运行指定模块用例

一、运行时的参数 在上一篇博客中写了pytest最为核心的运行时前后置如何设置&#xff0c;细心的朋友可能也会发现其实我们当时就加过运行时的参数-vs。 pytest.main([‘-s’])&#xff1a;能打印出调试信息&#xff0c;print()或者日志都可以直接打印在控制台上。 pytest.ma…

基于微信小程序的房屋租赁系统设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言运行环境说明用户微信小程序端的主要功能有&#xff1a;户主微信小程序端的主要功能有&#xff1a;管理员的主要功能有&#xff1a;具体实现截图详细视频演示为什么选择我自己的网站自己的小程序&#xff08;小蔡coding&#xff09;有保障的售后福利 代码参考论文…

CSRF攻击(跨站请求伪造)

1.CSRF原理 程序员开发的时候&#xff0c;未对相关页面进行token和referer判断&#xff0c;造成攻击者可构造自己的URL地址欺骗用户进行点击 漏洞分析&#xff08;低级可绕过&#xff09; 通过这个可以更改密码 改为了password 中级多了referer头可以绕过 源代码 多了一个refer…

MVC设计思想理解和ASP.NET MVC理解

三层模式 三层模式包括:UI层,业务逻辑层,数据访问层,模型层 MVC设计思想和ASP.NET MVC理解 MVC设计思想: MVC的思想就是把我们的程序分为三个核心的模块,这三个模块的详细介绍如下: 模型(Model) :负责封装与引用程序的业务逻辑相关的数据以及对数据的处理方法。模型层有对…

单片机论文参考:5、基于单片机的自动打铃系统

摘 要 本次设计中的LED数码管电子时钟电路采用24小时制记时方式,本次设计采用AT89C51单片机的扩展芯片和6个PNP三极管做驱动&#xff0c;由三块LED数码管构成的显示系统&#xff0c;与传统的基于8/16位普通单片机的LED显示系统相比较&#xff0c;本系统在不显著地增加系统成本的…

Xcode15+iOS17适配以及遇到的问题

今天更新了 Xcode15&#xff0c;遇到了一些问题&#xff0c;做下记录希望大家少走点坑。 1.iOS17 SDK 安装失败 Xcode更新完成后&#xff0c;打开项目一直显示 no fund iOS17 sdk&#xff0c;根据项目不同提示可能有区别&#xff0c;根据提示下载后提示安装失败&#xff0c;…