目录
一、MySQL事务
1. 概念
2. 事务的ACID原则
3. MySQL实现事务的方法
4. MySQL实现事务的步骤
5. 事务的原子性、一致性、持久性
6. 事务的隔离性
7. MySql中的锁
1. 共享锁
2. 排他锁
3. 行级锁
4. 表级锁
5. 间隙锁
6. 临键锁
7. 记录锁
8. 意向共享锁
9. 意向排它锁
8.事务的隔离级别(⭐⭐⭐)
9. InnoDB的MVCC
二、MySQL函 数
1. 常用的日期函数
时间差
2. 常用的字符串函数
3. 常用的数学函数
4. 常用的聚合函数
三、慢查询
执行计划
四、索引
1. 索引的分类
2. 主键索引
3. 唯一索引
4. 常规索引
5. 全文索引
6. 索引的操作
7. 优化原则(背)
7.1 创建索引
7.2 SQL编写
7.3 索引失效
一、MySQL事务
1. 概念
事务(Transaction),就是将一组SQL语句放在同一批次内去执行,如果一个SQL语句出错,则该批次内的所有SQL都将被取消执行。
事务是一个过程 在进行中
特点:一个事务中如果有一个数据库操作失败,那么整个事务的所有数据库操作都会失败,数据库数据就会回滚到该事务开始之前的状态。
限制:MySQL数据库中仅InnoDB和BDB类型的数据库表 支持事务。
2. 事务的ACID原则
原子性:意味着数据库中的 事务执行是作为原子粒度。即不可再分,整个语句要么执行,要么不执行 。
一致性:即在事务开始之前和 事务结束以后,数据 库的完整性约束没有 被破坏。
隔离性:事务的执行是互不 干扰的,一个事务 不可能看到其他事 务运行时,中间某 一时刻的数据。
持久性:意味着在事务完成以后 ,该事务所对数据库所 作的更改便持久的保存 在数据库之中,并不会 被回滚。
- 原子性(Atomicity):指事务是一个不可分割的最小工作单位,事务中的操作只有都发生和都不发生两种情况
- 一致性(Consistency):事务必须使数据库从一个一致状态变换到另外一个一致状态,举一个栗子,李二给王五转账50元,其事务就是让李二账户上减去50元,王五账户上加上50元;一致性是指其他事务看到的情况是要么李二还没有给王五转账的状态,要么王五已经成功接收到李二的50元转账。而对于李二少了50元,王五还没加上50元这个中间状态是不可见的。
- 隔离性(Isolation):一个事务的执行不能被其他事务干扰,即一个事务内部的操作及使用的数据对并发的其他事务是隔离的,并发执行的各个事务之间不能互相干扰。
- 持久性(Durability):一个事务一旦提交成功,它对数据库中数据的改变将是永久性的,接下来的其他操作或故障不应对其有任何影响。
3. MySQL实现事务的方法
- START TRANSACTION:开始一个事务,标记事务的起始 点。
- COMMIT:提交一个事务给数据库。
- ROLLBACK:将事务回滚,数据回到本次事务的初始状态。
- SET AUTOCOMMIT:使用该语句来改变自动提交模式,等于0时关闭自动提交模式, 等于1时开启自动提交模式。默认为1,使用事务时为0。
互斥 要么提交 要么回滚
4. MySQL实现事务的步骤
- 关闭MySQL自动提交 SET AUTOCOMMIT = 0;
- 开启一个事务,标记事务的起始点 START TRANSACTION;
- 结束事务
- 向数据库提交事务 COMMIT;
- 将事务回滚,所有的数据库操作被取消 ROLLBACK;
- 开启MySQL自动提交 SET AUTOCOMMIT = 1
-- 创建表 create table bank(bid int primary key auto_increment,bname varchar(10),bmoney decimal(20,2) );insert into bank(bname,bmoney) values('zkt1',20000000000000000); insert into bank(bname,bmoney) values('zkt2',5);select * from bank; -- 关闭自动提交 set autocommit = 0; -- 手动开启一个事务 start TRANSACTION; -- 一组sql语句 update bank set bmoney=bmoney-1000 where bname='zkt1'; update bank set bmoney=bmoney+1000 where bname='zkt2'; -- 结束事务 -- 1. 提交 COMMIT; -- 2.回滚 rollback; -- 开启自动提交 set autocommit =1;
如果选择提交 则修改成功
如果转账失败 选择rollback 比如转账给zkt3 就会转账失败 这样就可以选择rollback 进行回滚
roolback回到之前的数据
5. 事务的原子性、一致性、持久性
事务的原子性、一致性和持久性由事务的 redo 日志和undo 日志来保证。
- REDO LOG 称为 重做日志 ,提供再写入操作,恢复提交事务修改 的页操作,用来保证事务的持久性。
- UNDO LOG 称为 回滚日志 ,回滚行记录到某个特定版本,用来保 证事务的原子性、一致性。
6. 事务的隔离性
为了让不同的事务之间相互不存在干扰,就需要对事务的操作进行隔离, 事务的隔离性也就是将操作同一个数据的事务相互分离,让操作之间分开有序的执行
通常数据库里都是采用锁的机制,保证事务之间的隔离性。
7. MySql中的锁
锁分类:
- 基于锁的属性分类:共享锁(读锁、S锁)、排他锁(写锁,X锁)。
1. 共享锁
共享锁
,又称之为读锁,简称S锁,共享锁就是多个事务对于同一数据可以共享一把锁,都能访问到数据,但是只能读不能修改。只有当数据上的读锁被释放后,其他事务才能对其添加写锁。共享锁主要是为了支持并发的读取数据而出现的,读取数据时,不允许其他事务对当前数据进行修改操作,从而避免”不可重读”的问题的出现。2. 排他锁
排他锁锁住一行数据后,其他事务不能再在其上加其他的锁。
排它锁
,又称之为写锁、独占锁,简称X锁,当事务对数据加上写锁后,其他事务既不能对该数据添加读锁,也不能对该数据添加写锁,写锁与其他锁都是互斥的。只有当前数据写锁被释放后,其他事务才能对其添加写锁或者是读锁。写锁主要是为了解决在修改数据时,不允许其他事务对当前数据进行修改和读取操作,从而可以有效避免”脏读”
问题的产生。mysql InnoDB引擎默认的修改数据语句(update,delete,insert),都会自动给涉及到的数据加上排他锁,select语句默认不会加任何锁类型,如果加排他锁可以使用
select ...for update
语句。加过排他锁的数据行在其他事务种是不能修改数据的,也不能通过
for update
和lock in share mode
锁的方式查询数据,但可以直接通过select ...from...
查询数据,因为普通查询没有任何锁机制。
- 基于锁的粒度分类:表锁、行锁(记录锁、间隙锁、临键锁)。
3. 行级锁
行级锁是粒度最低的锁,发生锁冲突的概率也最低、并发度最高。但是加锁慢、开销大,容易发生死锁现象。MySQL中只有InnoDB支持行级锁,行级锁可分为共享锁和排他锁。
4. 表级锁
表级锁会对当前操作的整张表加锁,最常使用的 MyISAM 与 InnoDB 都支持表级锁定。
MySQL 里面表级别的锁有两种:一种是表锁,一种是元数据锁(meta data lock,MDL)。
5. 间隙锁
间隙锁基于非唯一索引,它锁定一段范围内的索引记录。使用间隙锁锁住的是一个区间,而不仅仅是这个区间中的每一条数据。
6. 临键锁
临键锁,是记录锁与间隙锁的组合,它的封锁范围,既包含索引记录,又包含索引区间,是一个左开右闭区间。临键锁的主要目的,也是为了避免幻读(Phantom Read)。如果把事务的隔离级别降级为RC,临键锁则也会失效。
每个数据行上的非唯一索引列上都会存在一把临键锁,当某个事务持有该数据行的临键锁时,会锁住一段左开右闭区间的数据。需要强调的一点是,InnoDB 中行级锁是基于索引实现的,临键锁只与非唯一索引列有关,在唯一索引列(包括主键列)上不存在临键锁。
7. 记录锁
记录锁是封锁记录,记录锁也叫行锁,例如:
select *from goods where
id
=1 for update;它会在 id=1 的记录上加上记录锁,以阻止其他事务插入,更新,删除 id=1 这一行
- 基于锁的状态分类:意向共享锁、意向排它锁。
8. 意向共享锁
意向共享锁(intention shared lock, IS),它预示着,事务有意向对表中的某些行加共享S锁。
select ... lock in share mode
,要设置IS锁,事务要获得某些行的S锁,必须先获得表的IS锁。9. 意向排它锁
意向排它锁(intention exclusive lock, IX),它预示着,事务有意向对表中的某些行加排它X锁。
select ... for update
,要设置IX锁,事务要获得某些行的X锁,必须先获得表的IX锁。意向锁 不加锁 会有一个版本号
8.事务的隔离级别(⭐⭐⭐)
事务并发问题: 在事务并发执行的时候,如果不进行事务隔离,那么就会产生脏写、脏读、 不可重复读、幻读的问题。
- 脏写( Dirty Write ):对于两个事务 Session A、Session B,如果事务Session A 修改了另一个未提交 事务Session B 修 改过 的数据,那就意味着发生了脏写,最总写了什么不知道。
- 脏读( Dirty Read ):对于两个事务 Session A、Session B,Session A 读取 了已经被 Session B 更新 但还没有被提交的字段。 之后若 Session B 回滚 ,Session A 读取 的内容就是临时且无效 的。
- 不可重复读( Non-Repeatable Read ):对于两个事务Session A、Session B,Session A 读取 了一个字段,然后 Session B 更新 了该字段。 之后 Session A 再次读取 同一个字段, 值就不同 了。那就意味着发生了不可重复读。 我们在Session B中提交了几个 隐式事务 (注意是隐式事务,意味着语句结束事务就提交了),这些事务 都修改了studentno列为1的记录的列name的值,每次事务提交之后,如果Session A中的事务都可以查看 到最新的值,这种现象也被称之为 不可重复读 。
- 幻读( Phantom ):对于两个事务Session A、Session B, Session A 从一个表中读取 了一个字段, 然后 Session B 在该表中插入了一些新的行。 之后, 如果 Session A 再次读取同一个表, 就会多出几行。那就意味着发生了幻读。 Session A中的事务先根据条件 studentno > 0这个条件查询表student,得到了name列值为'张三'的记录; 之后Session B中提交了一个 隐式事务 ,该事务向表student中插入了一条新记录;之后Session A中的事务 再根据相同的条件 studentno > 0查询表student,得到的结果集中包含Session B中的事务新插入的那条记 录,这种现象也被称之为 幻读 。我们把新插入的那些记录称之为 幻影记录 。
事务的隔离级别:
- READ_UNCOMMITTED 读未提交
- READ_COMMITTED 读提交(不可重复读)
- REPEATABLE_READ 可重复读(默认的隔离级别)
- SERIALIZABLE 串行化
事务的隔离级别解决的问题:
9. InnoDB的MVCC
MVCC (Multiversion Concurrency Control),多版本并发控制。顾名思义,MVCC 是通过数据行的多个 版 本管理来实现数据库的 并发控制 。这项技术使得在InnoDB的事务隔离级别下执行 一致性读 操作有 了保 证。换言之,就是为了查询一些正在被另一个事务更新的行,并且可以看到它们被更新之前的值, 这样 在做查询的时候就不用等待另一个事务释放锁。
MVCC 的实现依赖于:隐藏字段、Undo Log、Read View。
InnoDB就是通过MVCC机制解决可重复读中的幻读问题
二、MySQL函 数
MySQL函数,是一种控制流程函数,属于数据库用语言。
- 日期时间函数:对于日期和时间类型的字段进行处理
- 字符串函数:对于字符串类型的字段处理
- 数学函数:用作常规的数学运算
- 聚合函数:常用于GROUP BY从句的 SELECT查询中
- 自定义函数:根据实际需求自定义函数
1. 常用的日期函数
函数名 返回值 函数名 返回值 CURDATE() 返回当前的日期 HOUR(time) 返回time的小时值(0~23) CURTIME() 返回当前的时间 MINUTE(time) 返回time的分钟值(0~59) NOW() 返回当前的日期和时间 SECOND(time) 返回time的秒(0~59) DAYOFWEEK(date) 返回date所代表的一星期中的第几天(1~7) DATE_FORMAT(date,fmt) 依照指定的fmt格式格式化日期 date值 DAYOFMONTH(date) 返回date是一个月的第几天 (1~31) WEEK(date) 返回日期date为一年中的第几周(0~53) DAYOFYEAR(date) 返回date是一年的第几天 (1~366) DAY(date) 返回date的日 MONTH(date) 返回date的月份值(1~12) YEAR(date) 返回日期date的年份 (1000~9999) # 函数-- 日期函数 select curdate();
select curtime();
select now();
select dayofweek(now());
select dayofmonth(now());
select dayofyear(now());
select month(now());
-- 获取到当月过生日的学生信息 select * from student where month(birthday)=month(now());
select date_format(now(),'%a#%b#%D');
时间差
-- 时间差 返回值为天 select datediff(now(),'2024-1-1'); select datediff('2024-1-1',now());select TIMESTAMPDIFF(month,now(),'2024-1-1');select TIMESTAMPDIFF(second,'2002-11-18',now());
A.T_DATE = B.T_DATE+ interval 1 hour——即 A表时间 = B表时间 + 1小时,也可以为分钟、秒。 或者 DATE_ADD(date,INTERVAL expr unit) DATE_SUB(date,INTERVAL expr unit)
时间间隔字面量 说明 INTERVAL 1 YEAR 时间间隔为1年 INTERVAL 2 Month 时间间隔为2月 INTERVAL 3 DAY 时间间隔为3天 INTERVAL 4 HOUR 时间间隔为4小时 INTERVAL 25 MINUTE 时间间隔为25分钟 INTERVAL 45 SECOND 时间间隔为45秒 select now() - interval 1 year;select DATE_ADD(now(),interval 5 year);select DATE_SUB(now(),interval 5 year);
2. 常用的字符串函数
函数名 返回值 ASCII(char) 返回字符的ASCII码值 BIT_LENGTH(str) 返回字符串的比特长度 CONCAT(s1,s2...sn) 将s1,s2...,sn连接成字符串 QUOTE(str) 用反斜杠转义str中的单引号 CONCAT_WS(sep, s1,s2...sn) 将s1,s2...,sn连接成字符串,并用sep字符间隔 LTRIM(str) 从字符串str中切掉开头的空格 TRIM(str) 去除字符串首部和尾部的所有空格 POSITION(substr in str) 返回子串substr在字符串str中第一次出现的位置,从1开始 LOWER(str) 返回将字符串str中所有字符改变为小写的结果 UPPER(str) 返回将字符串str中所有字符转变为大写的结果 LEFT(str,x) 返回字符串str中最左边的x个字符 STRCMP(s1,s2) 比较字符串s1和s2 LENGTH(s) 返回字符串str中的字符数 REVERSE(str) 返回颠倒字符串str的结果 select concat('hello','zkt1');
select CONCAT_WS('abc','hello','zkt2','nb');
3. 常用的数学函数
函数名 返回值 ABS(x) 返回x的绝对值 BIN(x) 返回x的二进制 CEILING(x) 返回大于x的最小整数值 EXP(x) 返回值e(自然对数的底)的x次方 FLOOR(x) 返回小于x的最大整数值 GREATEST(x1,x2,...,xn) 返回集合中最大的值 LEAST(x1,x2,...,xn) 返回集合中最小的值 LN(x) 返回x的自然对数 LOG(x,y) 返回x的以y为底的对数 MOD(x,y) 返回x/y的模(余数) PI() 返回pi的值(圆周率) ROUND(x,y) 返回参数x的四舍五入的有y位小数的值 SIGN(x) 返回代表数字x的符号的值 SQRT(x) 返回一个数的平方根 TRUNCATE(x,y) 返回数字x截短为y位小数的结果 RAND() 返回0到1内的随机值,可以通过提供一个参数(种子)使RAND()随机数生成 -- 向上取整 select ceiling(3.14); --4 -- 向下取整 select floor(3.99); --3 -- 四舍五入 select round(3.25,1); -3.3 -- 需要传入两个参数,直接截断 不进行四舍五入 select truncate(3.19,1); --3.1
4. 常用的聚合函数
详见MySQL2
函数名 返回值 AVG(col) 返回指定列的平均值 COUNT(col) 返回指定列中非NULL值的个数 MIN(col) 返回指定列的最小值 MAX(col) 返回指定列的最大值 SUM(col) 返回指定列的所有值之和 GROUP_CONCAT(col) 返回由属于一组的列值连接组合而成的结果 -- 聚合函数 select ssex,count(*) from student group by ssex;-- 一般不用 select ssex,GROUP_CONCAT(sname) from student group by ssex;
三、慢查询
MySQL默认10秒内没有响应SQL结果,则为慢查询
# 慢查询 -- 显示到mysql数据库的连接数 show status like 'connections'; -- 查看慢查询的状态 Show variables like '%slow_query%'; -- 设置慢查询的到表 mysql.slow_log set global log_output='TABLE'; -- 设置慢查询的时间 set global long_query_time=3; -- 开启慢查询 set global slow_query_log='ON'; -- 慢查询的次数 show status like 'slow_queries'; -- 慢查询记录 select * From mysql.slow_log ; -- 慢查询sql语句 select convert(sql_text using utf8) sql_text from mysql.slow_log -- 关闭慢查询 set global slow_query_log='OFF';
设置的最大连接数
count 用* 或者常量统计 几乎没有区别
用非主键的字段去统计 时间会很慢
-- 慢查询-- 相关操作 show status like 'connections'; Show variables like '%slow_query%'; set global slow_query_log='ON'; set global log_output='TABLE'; set global long_query_time=5;show status like 'slow_queries'; select * From mysql.slow_log ; select convert(sql_text using utf8) sql_text from mysql.slow_logselect count(*) from emp;show create table emp;CREATE TABLE `emp` (`eid` bigint(20) DEFAULT NULL,`ename` varchar(10) DEFAULT NULL,`esex` varchar(5) DEFAULT NULL,`ebirthday` datetime DEFAULT NULL,`ehisday` datetime DEFAULT NULL,`job` varchar(15) DEFAULT NULL,`emoney` decimal(10,2) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
执行计划
问题: 当我们在查询前能否预先估计查询究竟要涉及多少行、使用哪些索引、运行时间呢? 答案是能的,mysql提供了相应的功能和语法来实现该功能。
分析: MySql提供了EXPLAIN语法用来进行查询分析,在SQL语句前加一个"EXPLAIN"即可。
比如我们要分析如下SQL语句: explain select * from table where table.id = 1 运行上面的sql语句后你会看到,
下面的表头信息: table | type | possible_keys | key | key_len | ref | rows | Extra
EXPLAIN列的解释:
table
显示这一行的数据是关于哪张表的
type
这是重要的列,显示连接使用了何种类型。从最好到最差的连接类型为const、eq_reg、ref、range、 index和ALL
说明:不同连接类型的解释(按照效率高低的顺序排序)
- system:表只有一行:system表。这是const连接类型的特殊情况。
- const :表中的一个记录的最大值能够匹配这个查询(索引可以是主键或惟一索引)。因为只有一行,这个值实际就是常数,因为 MYSQL先读这个值然后把它当做常数来对待。
- eq_ref:在连接中,MYSQL在查询时,从前面的表中,对每一个记录的联合都从表中读取一个记录,它在查询使用了索引为主键 或惟一键的全部时使用。
- ref:这个连接类型只有在查询使用了不是惟一或主键的键或者是这些类型的部分(比如,利用最左边前缀)时发生。对于之前的 表的每一个行联合,全部记录都将从表中读出。这个类型严重依赖于根据索引匹配的记录多少—越少越好。
- range:这个连接类型使用索引返回一个范围中的行,比如使用>或<查找东西时发生的情况。
- index:这个连接类型对前面的表中的每一个记录联合进行完全扫描(比ALL更好,因为索引一般小于表数据)。
- ALL:这个连接类型对于前面的每一个记录联合进行完全扫描,这一般比较糟糕,应该尽量避免。
possible_keys
显示可能应用在这张表中的索引。如果为空,没有可能的索引。可以为相关的域从WHERE语句中选择 一个合适的语句
key
实际使用的索引。如果为NULL,则没有使用索引。很少的情况下,MYSQL会选择优化不足的索引。 这种情况下,可以在SELECT语句中使用USE INDEX(indexname)来强制使用一个索引或者用 IGNORE INDEX(indexname)来强制MYSQL忽略索引
key_len
使用的索引的长度。在不损失精确性的情况下,长度越短越好
ref
显示索引的哪一列被使用了,如果可能的话,是一个常数
rows
MYSQL认为必须检查的用来返回请求数据的行数
Extra
关于MYSQL如何解析查询的额外信息。是Using temporary和Using filesort,意思MYSQL根本不能使用索 引,结果是检索会很慢
说明:extra列返回的描述的意义
- Distinct :一旦mysql找到了与行相联合匹配的行,就不再搜索了。
- Not exists :mysql优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行,就不再搜索了。
- Range checked for each Record(index map:#) :没有找到理想的索引,因此对从前面表中来的每一 个行组合,mysql检查使用哪个索引,并用它来从表中返回行。这是使用索引的最慢的连接之一。
- Using filesort :看到这个的时候,查询就需要优化了。mysql需要进行额外的步骤来发现如何对返回的 行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来排序全部行。
- Using index :列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表 的全部的请求列都是同一个索引的部分的时候。
- Using temporary :看到这个的时候,查询需要优化了。这里,mysql需要创建一个临时表来存储结果, 这通常发生在对不同的列集进行ORDER BY上,而不是GROUP BY上。
- Where used :使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户。如果不想返回表 中的全部行,并且连接类型ALL或index,这就会发生,或者是查询有问题。
四、索引
索引是对数据库表中一列或多列的值进行排序的一种结构,使用索引可快速访问数据库表中的特定信息。
特点:
- 高效性:利用索引可以提高数据库的查询 效率.
- 唯一性:索引可以确保所查的数据的唯一 性
- 完整性:用户可以加速表和表之间的连接, 实现表与表之间的参照完整性
- 特殊能力:通过使用索引,可以在查询过程 中,使用优化隐藏器,提高系统 性能。
缺点:
- 虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、 UPDATE和DELETE。
- 因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。建立索引会占用磁盘 空间的索引文件。
- 如果你在一个大表上创建了多种组合索引,索引文件的会膨胀很快。
索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间研究建立 最优秀的索引,或优化查询语句。
1. 索引的分类
- 主键索引:在数据库关系图中为表定义一个主键将自动创建主键索引。
- 唯一索引:不允许具有索引值相同的行,从而禁止重复的索引或键值。
- 常规索引:最基本的索引类型,没有唯一性之类的限制。
- 全文索引:搜索引擎的关键技术,用于检索文本信息, 可以是词语或者段落。
2. 主键索引
语法:
CREATE TABLE `表名` ( `字段1` INT(11) AUTO_INCREMENT PRIMARY KEY, #或 PRIMARY KEY(`字段1`) )说明: • 某一个属性组能唯一标识一条记录; • 最常见的索引类型; • 确保数据记录的唯一性; • 确定特定数据记录在数据库中的位置。
添加主键索引前:
select * from emp where eid = 10000 时间: 9.862ms 时间: 9.743ms
添加主键索引后:
alter table emp add primary key(eid); 时间: 74.470msselect * from emp where eid = 10000 时间: 0.001ms
3. 唯一索引
语法:
CREATE TABLE `表名` ( `字段1` INT(11) NOT NULL UNIQUE, #或 UNIQUE KEY(`字段1`) )说明: • 快速定位特定数据; • index和key关键字都可设置常规索引; • 应加在查找条件的字段; • 不宜添加太多常规索引,影响数据的插入、删除和修改操作。
4. 常规索引
语法:
CREATE TABLE `表名` ( `字段1` INT(11) NOT NULL, INDEX/KEY(`字段1`) )说明: • 避免同一个表中某数据列中的值重复; • 对比主键索引只能有一个,唯一索引可有多个。
添加常规索引前:
select * from emp where eid = 1000000 时间: 0.002ms
添加常规索引后:
explain select * from emp where ename = '祁单于' 时间: 9.188msalter table emp add index(ename);select * from emp where ename like '%张%' 时间: 2.470ms -- 后模糊可以用到索引 时间: 9.485ms -- 前模糊用不到索引
5. 全文索引
语法:
CREATE TABLE `表名` ( `字段1` VARCHAR(32) NOT NULL,, fulltext key (字段名,字段名,字段名) with parser ngram )ENGINE=innodb
用法:
create table wenzhang(wid int PRIMARY KEY auto_increment,title varchar(20), content text, zuozhe varchar(20), FULLTEXT(title,content,zuozhe) with parser ngram );insert into wenzhang(title,content,zuozhe) values ('西安往事','这是一个古老的城市,在这个城市中有很多的人,工厂,建筑物','小杨'), ('山西往事','这是一个古老的城市,这里有很多的人,工厂,建筑','老候'), ('地球往事','这是一个古老的星球,这里有很多的人','老刘在西安'), ('银河往事','这是一个系,打算在这个系之外造一个西安','小彭');select * from wenzhang where match(title,content,zuozhe) AGAINST('西安');alter table wenzhang add fulltext(title,content) with parser ngram -- 中日韩特有的解析引擎select * from wenzhang where match(title,content) AGAINST('西安');
必须要添加一个两个字段的全文索引 否则查找不到
注意:
- Mysql 5.6之前版本,只有myisam支持全文索引,5.6之后,Innodb和myisam均支持全文索引。
- 只有char、varchar、text类型字段能创建全文索引。
- 当大量写入数据时,建议先写入数据,后再建立全文索引,提高效率。
- Mysql内置ngram 解析器,可以解析中日韩三国文字。有汉字的一定要启用它。
- 英文分词用空格,逗号;中文分词用 ngram_token_size 设定.
6. 索引的操作
查看索引 SHOW INDEX(或KEYS) FROM 表名;删除索引 ALTER TABLE 表名 DROP PRIMARY KEY; DROP INDEX 索引名 ON 表名; ALTER TABLE 表名 DROP INDEX 索引名;修改索引 ALERT TABLE 表名 ADD 索引类型(数据列名); ALTER TABLE <表名> add FULLTEXT INDEX <索 引名>(字段名1,字段2,,) [ WITH PARSER ngram];
7. 优化原则(背)
7.1 创建索引
- 【强制】InnoDB表必须主键为id int/bigint auto_increment,且主键值 禁止被更新 。
- 【强制】InnoDB和MyISAM存储引擎表,索引类型必须为 BTREE 。
- 【建议】主键的名称以 pk 开头,唯一键以 uni 或 uk 开头,普通索引以 idx 开头,一律 使用小写格式,以字段的名称或缩写作为后缀。
- 【建议】多单词组成的columnname,取前几个单词首字母,加末单词组成column_name。如: sample 表 member_id 上的索引:idx_sample_mid。
- 【建议】单个表上的索引个数 不能超过6个 。
- 【建议】在建立索引时,多考虑建立 联合索引 ,并把区分度最高的字段放在最前面。
- 【建议】在多表 JOIN 的SQL里,保证被驱动表的连接列上有索引,这样JOIN 执行效率最高。
- 【建议】建表或加索引时,保证表里互相不存在 冗余索引 。 比如:如果表里已经存在key(a,b), 则key(a)为冗余索引,需要删除。
7.2 SQL编写
- 【强制】程序端SELECT语句必须指定具体字段名称,禁止写成 *。
- 【建议】程序端insert语句指定具体字段名称,不要写成INSERT INTO t1 VALUES(…)。
- 【建议】除静态表或小表(100行以内),DML语句必须有WHERE条件,且使用索引查找。
- 【建议】INSERT INTO…VALUES(XX),(XX),(XX).. 这里XX的值不要超过5000个。 值过多虽然上线很 快,但会引起主从同步延迟。
- 【建议】SELECT语句不要使用UNION,推荐使用UNION ALL,并且UNION子句个数限制在5个以 内。
- 【建议】线上环境,多表 JOIN 不要超过5个表。
- 【建议】减少使用ORDER BY,和业务沟通能不排序就不排序,或将排序放到程序端去做。ORDER BY、GROUP BY、DISTINCT 这些语句较为耗费CPU,数据库的CPU资源是极其宝贵的。
- 【建议】包含了ORDER BY、GROUP BY、DISTINCT 这些查询的语句,WHERE 条件过滤出来的结果 集请保持在1000行以内,否则SQL会很慢。
- 【建议】对单表的多次alter操作必须合并为一次 对于超过100W行的大表进行alter table,必须经过DBA审核,并在业务低峰期执行,多个alter需整 合在一起。 因为alter table会产生 表锁 ,期间阻塞对于该表的所有写入,对于业务可能会产生极 大影响。
- 【建议】批量操作数据时,需要控制事务处理间隔时间,进行必要的sleep。
- 【建议】事务里包含SQL不超过5个。 因为过长的事务会导致锁数据较久,MySQL内部缓存、连接消耗过多等问题。
- 【建议】事务里更新语句尽量基于主键或UNIQUE KEY,如UPDATE… WHERE id=XX; 否则会产生间隙锁,内部扩大锁定范围,导致系统性能下降,产生死锁。
7.3 索引失效
- 最佳左前缀法则
- 主键插入顺序
- 计算、函数导致索引失效
- 类型转换导致索引失效
- 范围条件右边的列索引失效
- 不等于(!= 或者<>)索引失效
- is null可以使用索引,is not null无法使用索引
- like以通配符%开头索引失效
- OR 前后存在非索引的列,索引失效
- 数据库和表的字符集统一使用utf8mb4
越大越好
cardinalit/count(*) 越近1 索引越好
必须是联合索引