1.SQL查询操作

select的“另类”用法

我们通常习惯select + from从数据表中读取数据，不过实际上select并不一定要去读取数据库中的内容。

比如：

select 1+1; 返回2

select now(); 返回当前时间

select本身代表要返回的内容，至于与数据库表中存的数据是否有关并不重要。

同时MySQL支持基本四则运算，所以可以利用这两个特性来实现：

统计A队列的案件数量比B队列的案件数量差异：

select

(select count(id) from assignment where queue='A' and `status`='ACTIVE' and active=1)

-

(select count(id) from assignment where queue='B' and `status`='ACTIVE' and active=1);

where和having

where和having都有对数据进行筛选的功能，通常的使用习惯是where跟在from后面，而having跟在group by后面，那么是不是非得这么用呢？二者的区别在哪里呢？

where表示基于数据表的列参数的限制条件，即where a=b语句中的a必须是数据表中的列。

having表示基于select语句返回的变量的限制条件，即having a=b语句中的a必须在select中出现。

来看下面几种场景：

select * from table where a=XXX;

select * from table having a=XXX;

// 二者均可使用，效果一样

select a,b,c from table where d=xxx; // ok

select a,b,c from table having d=xxx; // 错误，d不在select选择之中，无法用来having

select a, count(b) from table where count(b)>100; // 错误，where只能跟表中存在的列，无法对聚合、函数操作后的变量进行筛选

select a, count(b) from table group by a having count(b)>100; // ok

distinct和group by

distinct()函数和group by 语句都有用来去重的效果，但对应的使用场景有些差异。

distinct的作用就是单纯的去重，必须紧跟着select的后面，否则会报错。当select中涉及的到所有元素都重复时，只返回1条记录。有时和count连用，统计不重复的数量。

select distinct(a) from table; // 返回1，2，3，5，6，7，9...

select distinct(a),b from table; // 返回 (1,2),(1,3),(2,1),(3,5),(3,6)....

select a,distinct(b) from table; // error

select count(distinct(a)) from table; // 统计a不重复的记录数量

group by的作用是做分组汇总统计，必须配合聚合函数(count、sum、avg等)使用，否则无意义。返回结果中，被group by的参数每个只有1行。

select avg(b) from table group by a //对每一个a的条件查询b的平均值

select count(distinct(c)) from table group by a //对每个a的分组统计不同的c列值的数量

关联查询

当from语句选择了2张或以上的表时，返回内容是两张表的笛卡尔积，总数是二者数据量的乘积！

因此为了避免数据量的爆炸，关联查询多表时必须要加联结条件。

基本句式是：

select a ·联结方式· b on ·联结条件·

联结方式有内联结、外联结、左联结、右联结等，详见下图：

关联查询

修改操作涉及自身查询

有时候在做update、delete操作时需要结合select子句确定修改的范围。当select子句查询涉及要修改的表格本身时，要特别注意：不能select出数据，再在同一个表中做update、delete操作。

来看一个例子：a表中现在出现了b列同一个值有多条ACTIVE的记录的错误情况，现在要将这些记录全部设为EXPIRE。

下面是错误的示范：

UPDATE a SET `status` = 'EXPIRE'

WHERE b IN (

SELECT b FROM a

WHERE `status` = 'ACTIVE'

GROUP BY b

HAVING count(*) > 1

);

执行报错： You can't specify target table 'a' for update in FROM clause

要正常实现该功能，需要在update和select操作直接加一层临时表，临时表里存放从原表select出来的数据，update原表时，子查询读取临时表的数据，从而避免报错。

正确写法：

UPDATE a SET `status` = 'EXPIRE'

WHERE b IN (

SELECT temp.b from (

SELECT b from a

WHERE `status` = 'ACTIVE'

GROUP BY b

HAVING count(*) > 1

) as temp

);

这里从a表中查询出来的b全部放进了temp表中，update的时候IN语句读取temp表中的值，避免了两个操作指向同一张表产生报错。

2.InnoDB引擎和索引的技巧

InnoDB引擎的b+树索引

如果留心过数据库表信息的话肯定能发现，我们用的数据库默认都是InnoDB引擎的。MySQL建立数据库表时，除非显示声明，否则建立的都是InnoDB引擎。InnoDB的优势在于事务安全性和更细粒度的行级锁，详见下一章。

InnoDB引擎的索引机制是b+树，简称b树索引。至于什么是b+树，请自行百度。

.

.

.

算了，还是讲下吧。。。。

查询一般有三类：顺序查询(慢)、二分查询(快)和hash查询(最快，但是费空间，除了内存机制的应用，一般不会使用)。顺序查询和二分查询有着数量级的性能差距，对于数据量大的情况差异尤其明显。

为了更快的定位查询到需要的数据，就要想办法把慢的顺序查询变为快的二分查询，这就是索引的本质。

InnoDB中的索引分为主键索引(聚簇索引)和二级索引，其中主键索引和其他数据是存放在一起的，二级索引有单独的索引树。

先来看主键索引。

为了实现二分查询，MySQL规定，主键索引必须唯一并按照升序排列(否则没法二分)。

数据存储的的基本单位是“页”，一页大小为16k，为连续的存储空间。

连续就好办了，由于规定了主键唯一升序，要在一页内查找某个主键，就可以先读取中间地址(更准确的说法是槽位)存储的数据，拿主键来比较，如果比中间的主键值大，那在后半空间里再去一半位置地址的数据比较，以此类推。

当一页存不下的时候，就需要开一个新的页，但页和页之间的地址未必是连续的，二者通过双向链表关联。所以当数据量大，不止一页的时候如何实现二分呢？

答案是建立一个目录页，目录页和存储数据的页结构上其实是一样一样的，存储的内容是主键和其对应的页的地址。这样查询的过程变成：先在目录页中二分查找主键，找到对应数据页的地址，进入数据页再次进行二分查找。

若数据量很大，目录页也不止一个怎么办？那就再建立一个指向目录页的二级目录页。

整个过程就像是根据页码查目录，先搜索章节、再搜索小节、再搜索小小节。

详见下图：

比如我要搜id=26的数据，首先<62找到目录页17，然后<50找到数据页37，在页37中最后二分法找到26的记录。

主键索引树

这个形状不就是树结构吗？来看一下这个树有什么特点：

首先，所有的具体数据都存在叶子节点

非叶子节点只存储Key值和通往下一级节点的地址

我们管具有这种特点的树叫做b+树。InnoDB引擎通过b+树实现索引的二分查询，从而提升查询性能。

那手动建立的其他索引呢？

答案是，每建立一个索引，就建一颗对应的b+树，并按照该索引字段升序排列(MySQL不止是数值可以排序，任何类型的值都可以，比如字符串是根据字母排列顺序来排序)。

在按索引查询时，就在对应的索引树上进行二分查询操作，和主键树一样。

除主键外的所有索引都是二级索引，其b+树和主键b+树唯一的区别在于叶子节点：主键树的叶子节点存放主键和具体记录的数据；二级索引树的叶子节点存放索引和主键。

还有一种比较特别的二级索引，里面包括多个列的值，称为联合索引。一个联合索引也是一个b+数，内部的顺序先按照建立索引的第一个字段排序，相同情况下再按照第二个字段排序，以此类推。

二级索引是怎么查询数据的呢？首先通过二级索引树二分查询找到对应的主键id，再拿这些主键id去主键索引树上查询对应的数据，这个过程称为“回表”。

所以，根据主键id查数据走一次索引，根据普通索引查数据要走两次索引。

如何使用索引

索引将顺序查询升级为二分查询，使得性能可以大大提升，但索引也不是万能的，要用索引之前首先得知道使用的代价：

每建一个索引都要建一个b+树，占空间是肯定的了，如果索引的值很大的话，更容易产生分页现象，b+树就需要更多的层，占空间就更大；

不能“管杀不管埋”，建了索引树还得维护，当表内插入、变更、删除数据时，对应的索引树可能也需要同时更新，这样会拖慢数据库操作的性能；

对于二级索引的使用，可能查出多个主键id，而这些主键id未必是连续的，所以回表查询时是随机I/O，比顺序I/O的性能会差很多，可能得不偿失；

所以，一个表上建的索引越多，占用空间就越大，增删改记录时的时间性能就越差。因此要建立索引，就要保证其能被充分的利用。

网上对于什么情况下可以命中索引，什么情况下不行的列举较为零碎，不好理解，但事实上只要理解了索引的b+树结构原理，判断能否命中索引其实不难。

先来看几个这辈子也别想命中索引的操作：

select * from table where a!=xxx // !=, not in 这种操作显然是没法通过二分查找来快速定位的

select * from table where a*2=xxx // 对索引变量做运算会导致mysql把a*2作为整体来筛选，无法使用b+树，函数处理同理，所以对于字符串类型的变量保存数字的列要特别小心。

select * from table order by a // 排序本身不是问题，问题在于没有where子句，是全部数据的排序，走索引只会增加回表操作开销，不如全表搜索。

select * from table order by a, b desc limit 10 // 如果有多个字段做排序，排序的方式需要一样，才能方便的从b+树上正着取或者倒着取数据。

select * from table where b like '%xxx%' // 字符串按照字母顺序来排序，前缀做通配会导致无法判断其大小范围。

联合索引(a,b,c)的情况：

select * from table where b=xxx // 联合索引按建立索引的顺序在b+树上进行升序排列，所以不使用a的情况下直接用b，由于a的值不确定，无法命中

select * from table where a=xxx and c=xxx // 只能命中索引a，原理同上

select * from table where a>xxx and b=xxx // 还是只能命中索引a，因为a进行的是范围操作，会筛选出多个值，无法在同一颗索引树上方便的匹配第二个字段，系统会把b字段的匹配变为顺序搜索

理解了索引基于b+树的搜索方式，就比较容易找正确的使用姿势了：

表本身的数据量要大，否则二分查询节约的时间不如回表操作费的时间；

索引尽量小，节约b+树空间和搜索层次数，降低维护成本；

索引的取值尽可能多(唯一就更好了)，避免索引树上查到大量主键id，在回表过程中浪费时间；

基于二分查询的原理，表达式应该是等值匹配、IN匹配、大小判断或者用于排序、分组操作，如果是字符串匹配，前缀要准确；

索引列要单独出现，不要做任何算术、函数运算；

若有多个字段会同时使用，可以建立联合索引，一是减少b+树的数量节约空间；二是因为一次查询只会用一个索引树，联合索引效率更高；

对于联合索引，建立时要按照使用频率顺序来建立，避免出现前一个未使用而使用后一个的情况；

排序情况下一定要限制数量或者条件，不用全表排序；

如果可以，只搜索索引字段，避免select *，索引覆盖的情况下只需要搜索索引树，免去了回表操作；

对于IN操作，可以拆解成多个等值匹配，用UNION算符并连结果；

等等.....

MySQL自带的explain是分析查询性能的好工具。

explain

这里主要看type和key这俩字段。

key表示这个查询用到的索引。

type表示这个查询的索引使用效率。type大概有以下几种：

const 使用主键索引匹配，或者唯一索引匹配非null值。精确匹配一条，速度最快。

ref 使用普通二级索引匹配。会匹配出多个主键进行回表查询。

range 使用索引进行范围查找。

index 使用了不带索引的字段进行条件筛选。会在索引匹配后顺序判断每一条是否符合条件。

all 无法命中索引，全表扫描。

3.事务&数据库锁

事务和MVCC

数据库的变更操作是个“危险”的事情，尤其是对于需要几个语句共同合作完成的操作(例如案件的出催)，可能受到硬件性故障例如断网断电、并发影响，导致执行一半中断或者中途数据错乱的问题。

所以我们要确保这样一个操作场景，要么一次性执行完成不受影响，要么干脆别执行。这种操作系列称之为事务。

事务具备四个基本特性，称为ACID：

Atomicity 原子性，该操作不可分割打断，保障可以一次性执行完成

Consistency 一致性，所有的操作要满足约束条件(唯一、not null等)

Isolation 隔离性，事务之间不能相互干扰，引起数据错乱(脏写)

Durability 持久性， 已经完成的事务所修改的数据不会因任何故障丢失

InnoDB引擎支持事务操作，以begin开始，以commit提交结束。

在高并发情况下，为了性能考虑，事务间的隔离性有时会做出一点取舍。引起数据错乱的脏写肯定是要杜绝的，但还有几种情况有时要求就没有那么严格：

脏读：事务A读到了事务B修改过的数据，但此时事务B未提交

不可重复读：事务A以同样的查询语句查询，而过程中有其他事务修改了数据，引起每次查询的结果不同

幻读：事务A以同样的查询语句查询，而过程中有其他事务插入了满足查询条件的新数据，导致A查出了“不该查出”的新数据

MySQL支持4种隔离性级别的设置：

MySQL事务隔离级别

隔离性最差的read uncommitted 会直接读取最新的版本，而serializable会使用加锁的方式。

剩下俩会通过MVCC(multi-version concurrency control)来实现，其主要依赖版本链和ReadView。

可以对比参照git的代码版本控制和tag，事务对数据的修改就可以看成是各种分支，每一个事务有自己对应的版本位置，ReadView是在某个时刻对版本链打的tag，两个级别的区别主要在于打tag的时机要求。

锁的性质：共享锁 pk 排他锁

加锁是隔离性最强的方法。对于读和写操作，我们对隔离性的要求又有一些不同：

由于读操作不改变数据，所以A在读的时候，并不排斥B也来读；

写操作会直接影响数据，所以A在写的时候，即不能让B来写，也不能让B来读。

所以，读操作的事务是可以同时进行的，而写操作事务之间、写操作和读操作则是互斥排他的。

我们把读操作加的锁称为共享锁(S)，写操作加的锁称为排他锁(X)。(p.s 读操作也可以显示声明加排它锁，select.....for update，一般不会这么干)

S锁和X锁的兼容性

加锁、解锁操作：

一个读操作事务开始时，先判断是否有X锁，如果有则进入S锁等待队列等待，没有则加上S锁并开始执行；

一个写操作事务开始是，先判断是否有锁，如有则进入X锁等待队列等待，没有则加上X锁并开始执行；

当前事务完成并释放锁后，先把X等待队列中的X锁出队列执行操作(防止写操作“饥饿”)。

锁的颗粒度：表级锁 pk 行级锁

顾名思义，表级锁是对整张表上锁，而行级锁是对一条记录上锁。一般情况下，行级锁对并发的支持会好于表级所，比如有两个写任务，针对不同的记录，行级锁可以并行而表级锁会阻塞。

不过说句公道话，表级锁并不是一无是处，因为其更省内存。尤其是一个事务需要访问表中大量数据或者做group by的时候，用表锁只要维护一个锁，而用行锁要维护N个锁。

此外，大量insert操作时，表锁性能也会优于行锁。InnoDB主键自增就是通过表级锁完成的。

InnoDB引擎同时支持表级锁和行级锁，而其他引擎如MyISAM只支持表级锁。

原因还是在于b+索引树，InnoDB引擎可以对索引上锁，当然同时也反过来要求使用行级锁必须要用索引。

有行锁和表锁共存时就会引出一个问题，如果要对表加锁，就需要判断表中的记录是否被加了行锁，总不能遍历查询判断每一行有没有加锁吧？

遍历是不可能遍历的，这辈子都不可能。为了解决这个问题，需要引入一个“意向”锁。

意向锁也分为共享和排他两类，简称IS和IX。有IS锁意味着表中有行级别S锁；有IX锁意味着表中有行级别X锁。

意向锁是表级别的，但其本身不锁定任何表或者行，只是用来快速判断表内是否有记录被锁着，所以意向锁之间是兼容的。有10个意向锁就说明里面有10个行级操作正在进行。

InnoDB表级别锁的兼容性：

完整的锁兼容性

完整版的上锁过程：

行级读操作，先判断是否有表级X锁或对应行的X锁，若有则等待；没有则给表加IS锁，给对应行加S锁并执行操作。

行级写操作，先判断是否有表锁或者对应行锁，若有则等待；没有则给表加IX锁，给对应行加X锁并执行操作。

行级操作完成后，释放行锁及其加上的表意向锁。

表级读操作，先判断是否有表级X锁或IX锁，若有则等待；没有则给表加S锁并执行操作。

表级写操作，先判断是否有表级锁或意向锁，若有则等待；没有则给表加X锁执行操作。

表级操作完成后，释放表级锁。

行级锁的功能：记录锁 pk 间隙锁

这二者还是比较好理解的。

记录锁锁定的是一条数据记录本身，对于脏读、不可重复读的情况，是某个特定的记录被其他事务修改引起的，所以只要锁定这提条数据防止其他事务来更新就可以。

对于幻读，是由于新插入的记录引起的，由于无法预测哪些记录会插入，所以依靠锁数据是无法避免的。这时需要再加一个间隙锁。

间隙锁的作用是锁定上锁行和主键前一条数据之间的空间，防止有插入操作。例如目前表中两条连续记录id分别是10和15，那在15的数据上加间隙锁，可以防止插入id在11-14范围内的数据。

supermum是mysql里的虚拟最大行记录，对于当前表里主键最大的记录，在supermum上加间隙锁可以防止后续更大主键的记录插入。