mysql内部实现原理面试_理解完这些基本上能解决面试中MySql的事务问题

事务是指逻辑上的一组操作,要么都执行,要么都不执行,

事务的特性(ACID)原子性(Atomicity):事务是不可分割的工作单元,要么都成功,要么都失败, 如果事务中一个sql语句执行失败,则已执行的语句也必须回滚,数据库退回到事务前的状态。

一致性(Consistency):事务不能破坏数据的完整性和业务的一致性 。例如在银行转账时,不管事务成功还是失败,双方钱的总额不变

隔离性(Isolation):一个事务所操作的数据在提交之前,对其他事务的可见性设定(一般是不可见)

持久性(Durability):事务提交之后,所做的修改就会永久保存,不会因为系统故障导致数据丢失

严格来说,只有同时满足数据库的事务ACID特性才能算一个完整的事务,但现实中实现能够真正满足的完整的事务特性少之又少,但是在实现中也必须尽量达到事务要求的特性。

那么事务ACID特性具体怎么实现的呢?我们来分析看看,首先先看看事务的特性。

原子性(Atomicity)

首先我们来看看事务的原子性特性,看看其如何实现的?

原子性(Atomicity):事务是不可分割的工作单元,要么都成功,要么都失败, 如果事务中一个sql语句执行失败,则已执行的语句也必须回滚,数据库退回到事务前的状态

原子性(Atomicity)的实现离不开 MySQL的事务日志 undo log日志类型,当事务需要回滚的时候需要将数据库状态回滚到事务开始前,即需要撤销所有已经成功执行的sql语句。那么undo log起了关键性作用:

当事务对数据库进行修改时,InnoDB会生成对应的undo log;如果事务执行失败或调用了rollback,导致事务需要回滚,便可以利用undo log中的信息将数据回滚到修改之前的样子。

那么undo log是什么呢?每个数据变更操作是怎么被记录下来的呢?

undo log( 回滚日志 )

undo log (回滚日志):是采用段(segment)的方式来记录的,每个undo操作在记录的时候占用一个undo log segment。为什么会在数据更改操作的时候,记录了相对应的undo log呢?其目的在于:为了保证数据的原子性,记录事务发生之前的一个版本,用于回滚,

通过mvcc+undo log实现innodb事务可重复读和读取已提交隔离级别。

其中,undo log分为:insert undo log : insert操作中产生的undo log,

update undo log: 对delete 和update操作产生的undo log

数据更改的undo log怎么记录的呢?

因为insert操作的记录,只对事务本身可见,对其他事务不可见。故该undo log可以在事务提交后直接删除,不需要进行purge操作,

而Delete操作在事务中实际上并不是真正的删除掉数据行,而是一种Delete Mark操作,在记录上标识Delete_Bit,而不删除记录。是一种"假删除",只是做了个标记,真正的删除工作需要后台purge线程去完成。

update分为两种情况:update的列是否是主键列。如果不是主键列,在undo log中直接反向记录是如何update的。即update是直接进行的。

如果是主键列,update分两部执行:先删除该行,再插入一行目标行。

与insert undo log 不同的,update undo log日志,当事务提交的时候,innodb不会立即删除undo log, 会将该事务对应的undo log放入到删除列表中,未来通过purge线程来删除。

因为后续还可能会用到undo log,如隔离级别为repeatable read时,事务读取的都是开启事务时的最新提交行版本,只要该事务不结束,该行版本就不能删除(即undo log不能删除),且undo log分配的页可重用减少存储空间和提升性能。Note: purge线程两个主要作用是:清理undo页和清除page里面带有Delete_Bit标识的数据行。

接着我们来看看事务的隔离性,看看事务有哪些隔离级别,而且事务并发中会产生什么问题。

隔离性(Isolation)

隔离性(Isolation),是指事务内部的操作与其他事务是隔离的,并发执行的各个事务之间不能互相干扰 ,一个事务所操作的数据在提交之前,对其他事务的可见性设定(一般是不可见)。

事务隔离级别

而且数据库为了在并发下有效保证读取数据正确性,数据库提供了四种事务隔离级别,分别为:读未提交(脏读):允许读取尚未提交的数据,允许脏读

读已提交( 不可重复读 ):允许读取事务已经提交的数据

可重复读( 幻读 ):在同一个事务内的查询结果都是和事务开始时刻查询一致的( InnoDB默认级别 )

串行化:所有事务逐个依次执行, 每次读都需要获得表级共享锁,读写相互都会阻塞

其中,不同的隔离级别可能会存在在不同并发问题,主要并发问题包括:数据丢失: 两个或多个事务操作相同数据,基于最初选定的值更新该行时,由于每个事务都不知道其他事务的存在,就会发生丢失更新问题——最后的更新覆盖了其他事务所做的更新

**脏读:**读到了其他事务还未提交的数据,事务A读取了事务B更新的数据,然后B回滚操作,那么A读取到的数据是脏数据

**不可重复读(重点是修改):**在一个事务中,先后进行两次相同的读取,由于另一个事务修改了数据,导致前后两次结果的不一致,事务A多次读取同一数据,事务B在事务A多次读取的过程中,对数据作了更新并提交,导致事务A多次读取同一数据时,结果不一致。

幻读(重点是新增、删除): 在一个事务中,先后进行两次相同的读取(一般是范围查询),由于另一个事务新增或删除了数据,导致前后两次结果不一致

不可重复读和幻读的区别?

不可重复读和幻读最大的区别,就在于如何通过锁机制来解决他们产生的问题,

使用锁机制来实现这两种隔离级别,在可重复读中,相同sql第一次读取到数据后就将这些数据加锁,其它事务无法更新操作这些数据来实现可重复读了隔离。

但这种处理方式却无法锁住insert的数据,因此会出现当事务A先前读取了数据,事务B再insert数据提交,结果发现事务A就会发现莫名其妙多了些数据,这就是幻读,不能通过行锁来避免 。

了解了并发问题后,来看看不同的隔离级别可能会存在在不同并发问题:事务隔离级别脏读不可重复读幻读

为了实现事务隔离,延伸出了数据库锁。其中,innodb事务的隔离级别是由锁机制和MVCC(多版本并发控制)来实现的

那我们来先看看锁的原理,怎么使用锁来实现事务隔离的呢?

锁机制

锁机制的基本工作原理,事务在修改数据之前,需要先获得相应的锁;获得锁之后,事务便可以修改数据;该事务操作期间,这部分数据是锁定的,其他事务如果需要修改数据,需要等待当前事务提交或回滚后释放锁,

MySQL主要分成三种类型(级别)的锁机制:表级锁:最大颗粒度的锁机制,锁定资源争用的概率也会最高 ,并发度最低 ,但开销小,加锁快,不会出现死锁,

行级锁:最大颗粒度的锁机制很小, 发生锁定资源争用的概率也最小,能够给予应用程序尽可能大的并发处理能力而提高一些需要高并发应用系统的整体性能 ,但 开销大,加锁慢;会出现死锁 ,

页级锁: 开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般

而且不同的存储引擎支持不同的的锁机制,主要分析一下InnoDB锁。

InnoDB锁

InnoDB实现了以下两种类型的行锁共享锁(S锁、行锁):多个事务对同一数据行可以共享一把锁,只能读不能修改

排它锁(X锁、行锁):一个事务获取一个数据行的排它锁,那么其他事务将不能再获取该行的锁(共享锁、排它锁), 允许获取排他锁的事务更新数据

对于UPDATE,DELETE,INSERT操作, InnoDB会自动给涉及及数据集加排他锁(X);对于普通SELECT语句,InnoDB不会加任何锁,

而且因为InnoDB引擎允许行锁和表锁共存,实现多粒度锁机制,使用意向锁实现表锁机制,意向共享锁(IS锁、表锁):当事务准备给数据行加共享锁时,会先给表加上一个意向共享锁。意向共享锁之间是兼容的

意向排它锁(IX锁、表锁):当事务准备给数据行加排它锁时,会先给表加上一个意向排它锁。意向排它锁之间是兼容的

意向锁(IS、IX)是InnoDB数据操作之前自动加的,不需要用户干预。它的意义在于:当事务想去进行锁表时,可以先判断意向锁是否存在,存在时则可快速返回该表不能启用表锁,否则就需要等待

如果一个事务请求的锁模式与当前的锁兼容,InnoDB就请求的锁授予该事务;反之,如果两者两者不兼容,该事务就要等待锁释放。

InnoDB行锁

InnoDB的行锁是通过给索引上的索引项加锁来实现的。只有通过索引检索数据,才能使用行锁,否则将使用表锁(锁住索引的所有记录)

临键锁(next-key),可以防止幻读。根据索引,划分为一个个左开右闭的区间。当进行范围查询的时候,若命中索引且能够检索到数据,则锁住记录所在的区间和它的下一个区间,

其实,临键锁(Next-Key)=记录锁(Record Locks)+间隙锁(Gap Locks),当我们用范围条件检索数据而不是相等条件检索数据,并请求共享或排他锁时,InnoDB会给符合范围条件的已有数据记录的索引项加锁;对于键值在条件范围内但并不存在的记录,叫做间隙(GAP)。

当使用唯一索引,且记录存在的精准查询时,使用Record Locks记录锁

具体的使用体现在哪里呢?如下图所示:范围查询,记录存在

当记录不存在(不论是等值查询,还是范围查询)时,next-key将退化成Gap Lock(间隙锁)

当条件是精准匹配(即为等值查询时)且记录存在时,并且是唯一索引,临键锁(Next-Key)退化成Record Lock(记录锁)

当条件是精准匹配(即为等值查询时)且记录存在,但不是唯一索引时,临键锁(Next-Key)会有精准值的数据会增加Record Lock(记录锁)和精准值前后的区间的数据会增加Gap Lock(间隙锁)。

如何使用锁解决并发问题

利用锁解决脏读、不可重复读、幻读X锁解决脏读

S锁解决不可重复读

临键锁解决幻读

Multiversion concurrency control (MVCC 多版本并发控制)

InnoDB的MVCC是通过在每行记录后面保存两个隐藏的列来实现的,一个保存了行的事务ID(事务ID就会递增 ),一个保存了行的回滚段的指针 。

每开始一个新的事务,都会自动递增产 生一个新的事务id。事务开始时刻的会把事务id放到当前事务影响的行事务id中,而DB_ROLL_PTR表示指向该行回滚段的指针,该行记录上所有版本数据,在undo中都通过链表形式组织,该值实际指向undo中该行的历史记录链表,

在并发访问数据库时,对正在事务中的数据做MVCC多版本的管理,以避免写操作阻塞读操作,并且会通过比较版本解决幻读。

而且MVCC只在REPEATABLE READ和READ COMMITIED两个隔离级别下才会工作,其中,MVCC实现实质就是保存数据在某个时间点的快照来实现的。 那哪些操作是快照读?

快照读和当前读

快照读,innodb快照读,数据的读取将由 cache(原本数据) + undo(事务修改前的数据) 两部分组成普通的select,比如 select * from table where ?;

当前读,SQL读取的数据是最新版本。通过锁机制来保证读取的数据无法通过其他事务进行修改UPDATE

DELETE

INSERT

SELECT … LOCK IN SHARE MODE

SELECT … FOR UPDATE

其中当前读中,只有SELECT … LOCK IN SHARE MODE对读取记录加S锁 (共享锁)外,其他的操作,都加的是X锁 (排它锁)。

那么在RR隔离级别下,MVCC具体是如何操作的。

RR隔离级别下,MVCC具体操作

SELECT操作,InnoDB遵循以后两个规则执行:InnoDB只查找版本早于当前事务版本的数据行(即行的事务编号小于或等于当前事务的事务编号,这样可以确保事务读取的行,要么是在事务开始前已经存在的,要么是事务自身插入或者修改过的记录。

行的删除版本要么未定义,读取到事务开始之前状态的版本,这可以确保事务读取到的行,在事务开始之前未被删除.只有同时满足的两者的记录,才能返回作为查询结果.

INSERT:InnoDB为新插入的每一行保存当前事务编号作为行版本号。

DELETE:InnoDB为删除的每一行保存当前事务编号作为行删除标识。

UPDATE:InnoDB为插入一行新记录,保存当前事务编号作为行版本号,同时保存当前事务编号到原来的行作为行删除标识。

保存这两个额外系统版本号,使大多数读操作都可以不用加锁。这样设计使得读数据操作很简单,性能很好,并且也能保证只会读取到符合标准的行,不足之处是每行记录都需要额外的存储空间,需要做更多的行检查工作,以及一些额外的维护工作。

分析完了原子性和隔离性,我们继续看看事务的持久性。

持久性(Durability)

持久性(Durability):事务提交之后,所做的修改就会永久保存,不会因为系统故障导致数据丢失,

而且其实现的关键在于redo log, 在执行SQL时会保存已执行的SQL语句到一个指定的Log文件,当执行recovery时重新执行redo log记录的SQL操作。

那么redo log如何实现的呢?

redo log

当向数据库写入数据时,执行过程会首先写入Buffer Pool,Buffer Pool中修改的数据会定期刷新到磁盘中(这一过程称为刷脏),这整一过程称为redo log。redo log 分为:Buffer Pool内存中的日志缓冲(redo log buffer),该部分日志是易失性的;

磁盘上的重做日志文件(redo log file),该部分日志是持久的。

Buffer Pool的使用可以大大提高了读写数据的效率,但是也带了新的问题:如果MySQL宕机,而此时Buffer Pool中修改的数据在内存还没有刷新到磁盘,就会导致数据的丢失,事务的持久性无法保证。

为了确保事务的持久性,在当事务提交时,会调用fsync接口对redo log进行刷盘, (即redo log buffer写日志到磁盘的redo log file中 ),刷新频率由 innodb_flush_log_at_trx_commit变量来控制的:0 : 每秒刷新写入到磁盘中的,当系统崩溃,会丢失1秒钟的数据 ;

1: 事务每次提交都写入磁盘;

2:每秒刷新写入到磁盘中的,但跟0是有区别的。

redo log有更加详细的解读,后续有时间再补上,到现在为止,已经将事务三个特性都理解了,那事务一致性呢?

一致性(Consistency)

一致性(Consistency):事务不能破坏数据的完整性和业务的一致性 :数据的完整性: 实体完整性、列完整性(如字段的类型、大小、长度要符合要求)、外键约束等

业务的一致性:例如在银行转账时,不管事务成功还是失败,双方钱的总额不变。

那是如何保证数据一致性的?

其实数据一致性是通过事务的原子性、持久性和隔离性来保证的原子性:语句要么全执行,要么全不执行,是事务最核心的特性,事务本身就是以原子性来定义的;实现主要基于undo log

持久性:保证事务提交后不会因为宕机等原因导致数据丢失;实现主要基于redo log

隔离性:保证事务执行尽可能不受其他事务影响;InnoDB默认的隔离级别是RR,RR的实现主要基于锁机制(包含next-key lock)、MVCC(包括数据的隐藏列、基于undo log的版本链、ReadView)

总结

其中要同时满足ACID特性,这样的事务少之又少。实际中很多例子都只是满足一些特性,比如:MySQL的NDB Cluster事务不满足持久性和隔离性;

InnoDB默认事务隔离级别是可重复读,不满足隔离性;

Oracle默认的事务隔离级别为READ COMMITTED,不满足隔离性

所以我们只能使用这个四个维度的特性去衡量事务的操作。

很多PHPer在进阶的时候总会遇到一些问题和瓶颈,业务代码写多了没有方向感,不知道该从那里入手去提升,对此我整理了一些资料,包括但不限于:分布式架构、高可扩展、高性能、高并发、服务器性能调优、TP6,laravel,YII2,Redis,Swoole、Swoft、Kafka、Mysql优化、shell脚本、Docker、微服务、高并发、Nginx等多个知识点高级进阶干货需要的可以免费分享给大家。点击领取资料

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/488581.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《自然-神经科学》发表脑智卓越中心关于昼夜节律中枢的研究成果

来源:脑智卓越中心昼夜节律在生物体中广泛存在,对调节人们一天之中的运动、睡眠、代谢等诸多生理过程起着重要的作用。目前认为哺乳动物的昼夜节律是由位于大脑中的视交叉上核(Suprachiasmatic Nucleus, SCN)控制的。SCN能够接收视…

mybatis 打印sql_mybatis-plus 3.1.0 发布,划重点一大波升级

mybatis-plus 是一款 Mybatis 动态 SQL 自动注入 Mybatis 增删改查 CRUD 操作中间件, 减少你的开发周期优化动态维护 XML 实体字段,无入侵全方位 ORM 辅助层让您拥有更多时间吃鸡、陪家人、陪朋友。更新日志升级 mybatis 到 3.5.0 版本升级 mybatis-spri…

201521123059 《Java程序设计》第八周学习总结

1. 本周学习总结 1.1 以你喜欢的方式&#xff08;思维导图或其他&#xff09;归纳总结集合与泛型相关内容。 1.2 选做&#xff1a;收集你认为有用的代码片段 简单泛型定义&#xff1a; public class Pair<T> {public Pair(T first, T second) {this.first first; this.…

mysql driver 读写分离_Mysql主从复制和读写分离实践

1、主从复制原理MySQL之间数据复制的基础是二进制日志文件(binary log file)。一台MySQL数据库一旦启用二进制日志后&#xff0c;其作为master&#xff0c;它的数据库中所有操作都会以“事件”的方式记录在二进制日志中&#xff0c;其他数据库作为slave通过一个I/O线程与主服务…

二十世纪最伟大的10大算法

来源&#xff1a;数学中国发明十大算法的其中几位算法大师1、1946 蒙特卡洛方法[1946: John von Neumann, StanUlam, and Nick Metropolis, all at the Los Alamos Scientific Laboratory, cook upthe Metropolis algorithm, also known as the Monte Carlo method.]1946年&…

mybatis 动态字段与表中不一样_8.mybatis的基本工作流程(2.0)※

mybatis的基本工作流程1.读取配置文件&#xff0c;配置文件包含数据库连接信息和Mapper映射文件或者Mapper包路径。2.有了这些信息就能创建SqlSessionFactory&#xff0c;SqlSessionFactory的生命周期是程序级,程序运行的时候建立起来,程序结束的时候消亡3.SqlSessionFactory建…

题目填坑计划

一个蒟蒻的最后的挣扎 吉林 JLOI 2016 侦察守卫 树形DP 可怕的题目&#xff0c;照题解抄了一遍&#xff0c;和它相似的题目还有HDU5290BombingPlan 方 容斥乱搞 可怕的题目&#xff0c;看题解懂的&#xff0c;但是完全写不来 成绩比较 组合DP 找题解理解了并且做完了&#xff0…

判断表达式值是否为空_如何在 Python 中判断列表是否为空

在判断列表是否为空时&#xff0c;你更喜欢哪种方式&#xff1f;决定因素是什么&#xff1f;在 Python 中有很多检查列表是否是空的方式&#xff0c;在讨论解决方案前&#xff0c;先说一下不同方法涉及到的不同因素。我们可以把判断表达式可以分为两个阵营&#xff1a;对空列表…

HDU 5890 Eighty seven(DP+bitset优化)

题目链接 Eighty seven 背包&#xff08;用bitset预处理&#xff09;然后对于每个询问O&#xff08;1&#xff09;回答即可。 预处理的时候背包。 #include <bits/stdc.h>using namespace std;#define rep(i, a, b) for(int i(a); i < (b); i) #define dec(i, …

《Lancet》发表全球学者联合声明!

来源&#xff1a;中国生物技术网 2020年2月18日&#xff0c;《LANCET》上发表通讯&#xff08;Correspondence&#xff09;文章&#xff0c;全球科学家发表声明反对阴谋论&#xff0c;全力支持奋战在疫情一线的中国科研技术工作者。就像病毒没有国界一样&#xff0c;科学也没有…

python时间序列库_时间序列数据处理python 库

【注】本人原创&#xff0c;最初发表于CSDN&#xff0c;后发布于知乎。为避免误会为抄袭&#xff0c;特此说明 由于我热衷于机器学习在时间序列中的应用&#xff0c;特别是在医学检测和分类中&#xff0c;在尝试的过程中&#xff0c;一直在寻找优质的Python库&#xff08;而不是…

python代数式的表达方式_关于python字典类型最疯狂的表达方式

一个Python字典表达式谜题让我们探究一下下面这个晦涩的python字典表达式&#xff0c;以找出在python解释器的中未知的内部到底发生了什么。# 一个python谜题&#xff1a;这是一个秘密# 这个表达式计算以后会得到什么结果&#xff1f;>>>{True: yes, 1: no, 1.0: mayb…

【LeetCode】152. Maximum Product Subarray

题目&#xff1a;   Find the contiguous subarray within an array (containing at least one number) which has the largest product. For example, given the array [2,3,-2,4],the contiguous subarray [2,3] has the largest product 6. 题解&#xff1a; 先暴力解&am…

“哥德尔不完备定理”到底说了些什么?

来源&#xff1a; 赵昊彤科学网博客链接地址&#xff1a;http://blog.sciencenet.cn/blog-409681-1067019.html 【编者按&#xff1a;不知为何&#xff1f;一直不相信已有的数理、物理、生理、心理、管理……能够研究好人机融合智能系统。究其因&#xff0c;需要出现新的数/物…

ghost镜像浏览器_新电脑,GHOST装不进系统?不要急,跟我来

前几天&#xff0c;朋友转了台新电脑&#xff0c;用的是第十代CPU I3 10100&#xff0c;什么都安装好了&#xff0c;也按要求做了GPT分区&#xff0c;用GHOST安装了WIN10系统&#xff0c;可是重启时就是进不去&#xff0c;在BOOT选项里根本看不到硬盘。这是为什么呢&#xff1f…

如何卸载mysql server 2005_如何卸载SQL Server 2005

卸载SQL Server 2005的方法之一&#xff0c;放在这儿只是为了记住&#xff1a;1&#xff1a;把SQL Server2005的安装盘(安装文件)放入到光驱。2&#xff1a;打开如下路径&#xff1a;开始/运行&#xff0c;输入&#xff1a;cmd3&#xff1a;输入下列命令&#xff1a;Start /wai…

python异步消费kafka_Kafka 通过python简单的生产消费实现

使用CentOS6.5、python3.6、kafkaScala 2.10 - kafka_2.10-0.8.2.2.tgz (asc, md5) 一、下载kafka 下载地址 https://kafka.apache.org/downloads 里面包含zookeeper二、安装Kafka 1、安装zookeeper mkdir /root/kafka/ tar -vzxf kafka_2.10-0.8.2.2cd /root/kafka/kafka_2.10…

【技术趋势】2020 五大技术趋势:无人驾驶发展、机器视觉崛起、区块链实用化、人类增强技术、超自动化...

图源&#xff1a;https://unsplash.com/来源&#xff1a;AI开发者原标题&#xff1a;Here Is A Rundown of 5 Major Tech Trends Hitting 2020作者&#xff1a;| Richard Liu链接&#xff1a;https://medium.com/swlh/here-is-a-rundown-of-5-major-tech-trends-hitting-2020-6…

正则不能输入特殊字符_正则表达式语法学习和在线练习

标题: 正则表达式语法学习和在线练习作者: 梦幻之心星 sky-seekerqq.com标签: [#正则表达式,#语法,#学习,#练习]目录: [语法]日期: 2021-01-26背景说明正则表达式使搜索和替换操作更加灵活高效。许多程序设计语言都支持使用正则表达式进行字符串操作。正则表达式是由普通字符…

JavaScript Math 对象

// 返回算术常量 e&#xff0c;即自然对数的底数&#xff08;约等于2.718&#xff09;。 Math.E; // 2.718281828459045 // 返回圆周率&#xff08;约等于3.14159&#xff09;。 Math.PI; // 3.141592653589793 // 返回最低值。 Math.min(1, 2, 3, 4, 5, 6); // 1 // 返回最高值…