mysql官方对索引的定义为:索引(index)是帮助MySQL高效获取数据的数据结构。
索引的本质:索引是数据结构。索引就是排好序的快速查找数据结构
一般来说索引本身也很大不可能全部存储在内存中,因此索引往往以索引文件的形式存储在磁盘上平时所说的索引,如果没有特别说明,都是指b树(多路搜索树,并不一定是二叉的)结构组织的索引。其中聚集索引、次要索引、复合索引、前缀索引、唯一索引都是默认使用B+树索引,统称索引。除了B+树这种类型的索引之外,还有哈希索引等1.索引的分类
- 主键索引(PRIMARY KEY)
- 唯一的标识,因为主键不可重复,只能有一个列作为主键
- 唯一索引(UNIQUE KEY)
- 避免重复的列出现,唯一索引可以重复,多个列都可以标识为唯一索引
- 常规索引(KEY / INDEX)
- 默认的, 可以用index 、key 关键字来设置
- 全文索引(FullText)
- 在特定的数据库引擎下才有,myisam
- 可以快速定位数据
show engines; --查看数据库索引
MySQL索引分类
索引的使用
1.在创建表的时候给字段增加索引2.创建完毕后,增加索引
SHOW INDEX FROM student;--显示表中的所有的索引信息--创建表的时候添加索引--增加一个全文索引(索引名) 列名ALTER TABLE school.student ADD FULLTEXT INDEX 'studentName'('studentName');--create index 索引名 on 表(字段名)create index id_student_studentName on student(studentName)--explain 分析SQL执行的状况EXPLAIN SELECT * FROM student;--非全文索引EXPLAIN SELECT * FROM student where match(studentName) agains('张');
2.测试索引
索引在小数据量的时候用处不大,但是在大数据的时候,区别十分明显
--添加大批量数据,使用SQL函数delimiter $$CREATE FUNCTION mock_data()RETURNS INTBEGINDECLARE num INT DEFAULT 1000000;DECLARE i INT DEFAULT 0;WHILE i--插入语句...SET i = i+1;END WHILE END
3.索引原则
- 索引不是越多越好
- 不要对经常变动的数据添加索引
- 小数据量的表不需要加索引
- 索引一般加在常用来查询的字段上
索引的数据结构
创建的时候默认的是hash类型的索引,不是innodb默认的,Btree: InnoDB 的默认数据结构资料链接:http://blog.codinglabs.org/articles/theory-of-mysql-index.html
3层的B+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO操作,性能提高将是巨大的,如果就没有索引,每个数据项都要发生一次IO,成本非常非常高。哪些情况下需要创建索引
- 主键自动建立唯一索引
- 频繁作为查询条件的字段应该创建索引
- 查询中与其它表关联的字段,外键关系建立索引
- 频繁更新的字段不适合创建索引,因为每次更新不单单是更新了记录,还会更新索引
- where条件里用不到的字段不创建索引
- 单键/组合索引的选择问题(高并发下倾向创建组合索引)
- 查询中排序的字段,排序字段若通过索引去访问将大大提高排序速度
- 查询中统计或者分组字段
哪些情况下不需要创建索引
- 表记录太少
- 经常增删改的表
- 数据重复且分布平均的表字段,因此应该只为最经常查询和最经常排序的数据列建立索引,如果某个数据列包含许多重复的内容,为它建立索引就没有太大的实际效果。
4.性能分析
MySQL Query Optimizer
- Mysql Query optimizer :Mysql中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供他认为最优的执行计划(他认为最优的数据检索方式,但不见得DBA认为是最优的,这部分比较耗时)
- 当客户端向MySQL 请求一条Query,命令解析器模块完成请求分类,区别出是 SELECT 并转发给MySQL Query Optimizer时,MySQL Query Optimizer 首先会对整条Query进行优化,处理掉一些常量表达式的预算,直接换算成常量值。并对 Query 中的查询条件进行简化和转换,如去掉一些无用或显而易见的条件、结构调整等。然后分析 Query 中的 Hint 信息(如果有),看显示Hint信息是否可以完全确定该Query 的执行计划。如果没有 Hint 或Hint 信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据 Query 进行写相应的计算分析,然后再得出最后的执行计划。Query Optimizer 是一个数据库软件非常核心的功能,虽然说起来只是简单的几句话,但在 MySQL 内部,MySQL Query Optimizer 实际上经过了很多复杂的运算分析,才得出最后的执行计划。
MySQL常见瓶颈
- CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候
- IO: 磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
- 服务器硬件的性能瓶颈:top,free,iostat和vmstat来查看系统的性能状态
Explain
使用explain关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈
作用- 表的读取顺序
- 数据读取操作的操作类型
- 那些索引可以使用
- 哪些索引被实际使用
- 表之间的引用
- 每张表有多少行被优化器查询
用法Explain + SQL语句
id
select 查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序
- id相同,执行顺序由上至下
- id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
- id相同不同,同时存在
select_type
- SIMPLE
- 简单的select查询,查询中不包含子查询或者UNION
- PRIMARY
- SUBQUERY
- DERIVED
- 在from列表中包含的子查询被标记为derived(衍生),mysql会递归执行这些子查询,把结果放在临时列表里。
- UNION
- 若第二个select出现在union之后,则被标记为union;若union包含在from子句的子查询中,外层select将被标记为:DERIVED
- UNION RESULT
查询的类型,主要是用于区别普通查询、联合查询、子查询等的复杂查询
table
显示这一行的数据是关于哪张表的
type
访问类型排列
从最好到最差依次是:system>const>eq_ref>ref>range>index>ALL,
一般来说,得保证查询至少达到range级别,最好能达到ref
- system : 表只有一行记录,(等于系统表),这是const类型的特列,平时不会出现,这个也可以忽略不计
- const: 表示通过索引一次就能找到了,const用于比较prinmary key 或者 unique索引,因为只匹配一行数据,所以很快,如将主键置于where列表中,mysql就能将该查询转换为一个常量。
- eq_ref: 唯一索引扫描,对于每一个索引键,表中只有一条记录与之匹配,常见于主键或唯一索引扫描。
- ref: 非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,他返回所有匹配某个单独值的行,然而,他可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体
- range: 质检所给定范围的行,使用一个索引来选择行。key 列显示使用了哪个索引,一般就是在where语句中出现了between、、in等的查询;这种 范围扫描索引,比全表扫描要好,因为它只需要开始于索引的某一点,而结束与另一点,不用扫描全部索引。
- index: full index scan, index 与all区别为index类型只遍历索引树。这通常比all快,因为索引文件通常比数据文件小。也就是说,虽然all和index都是从索引中读取的,但是index是从索引中读取的,而all是从硬盘中读取的。
- all: Full Table Scan,将遍历全表以找到匹配的行。
possible_keys
显示可能在这张表中的索引,一个或多个;查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用。
key
实际使用的索引,如果为null,则没有使用索引,查询中若使用了覆盖索引,则该索引仅出现在key列表中
key_len
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好;key_len 显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的
ref
显示索引的哪一列被使用了,如果可能的话,是一个常数,哪些列或常量被用于查找索引列上的值。
rows
根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数。(每张表有多少行被优化器查询)
Extra
包含不适合在其他列中显示但十分重要的额外信息
join语句的优化
尽可能减少join语句中的NetedLoop的循环次数;“永远小结果集驱动大结果集”。优先优化NestedLoop的内层循环保证join语句中被驱动表上join条件字段已经被索引;当无法保证被驱动表的join条件字段被索引且内存资源充足的前提下,不要太吝惜JoinBuffer的设置
5.索引的优势和劣势
- 优势
- 提高数据检索的效率,降低数据库的IO成本
- 通过索引对数据进行排序,降低数据排序的成本,降低了CPU的消耗
- 劣势
- 实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引也是要占用空间的
- 虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT UPDATE 和 DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息。
- 索引只是提高效率的一个因素,如果数据库有大数据量的表,就需要花费时间建立最优秀的索引,或优化查询