MySQL—redo log、undo log以及MVCC

MySQL—redo log、undo log以及MVCC

  首先回忆一下MySQL事务的四大特性:ACID,即原子性、一致性、隔离性和持久性。其中原子性、一致性、持久性实际上是由InnoDB中的两份日志保证的,一份是redo log日志,一份是undo log日志;而隔离性则依赖于锁和MVCC。

一、redo log

  重做日志,记录的是事务提交时数据页的物理修改,是用来实现事务的持久性。
  该日志文件由两部分组成:重做日志缓冲( redo log buffer )以及重做日志文件( redo log file ),前者在内存中,后者在磁盘中。

1. 应用场景

  我们知道,在InnoDB引擎中的内存结构中,主要的内存区域就是缓冲池,在缓冲池中缓存了很多的数据页。 当我们在事务中执行多个增删改的操作时,InnoDB引擎会先操作缓冲池中的数据,如果缓冲池没有对应的数据,则会通过后台线程将磁盘中的数据加载出来,存放在缓冲池中,然后将缓冲池中的数据修改,修改后的数据页我们称为脏页。 而脏页则会在一定的时机,通过后台线程刷新到磁盘中,从而保证缓冲池与磁盘数据的一致性。 然而缓冲池的脏页数据并不是实时刷新的,而是一段时间之后才将缓冲池的数据刷新到磁盘中,假如刷新到磁盘的过程出错了,而提示给用户事务提交成功,这样数据没有持久化下来,违背了事务的持久性。redo log的作用就是,当事务提交之后会把所有修改信息都存到该日志文件中,用于在刷新脏页到磁盘发生错误时, 进行数据恢复使用。

2. 工作流程

在这里插入图片描述
  当对缓冲池的数据进行增删改之后,会首先将数据页变化记录在redo log buffer中。在事务提交时,会将redo log buffer中的数据刷新到redo log磁盘文件中。之后,如果刷新缓冲池的脏页到磁盘时,发生错误,此时就可以借助于redo log进行数据恢复,这样就保证了事务的持久性。 而如果脏页成功刷新到磁盘,此时redo log就没有作用了,就可以删除了,所以磁盘中存在两个redo log文件并且是循环写的。

3. 优点

  可能有人会问,那为什么每一次提交事务,要刷新redo log buffer到磁盘中呢,而不是在事务提交时直接将buffer pool中的脏页刷新到磁盘呢?
  因为在业务操作中,我们操作数据一般都是随机的,如果此时刷新磁盘,是随机IO,性能比较低。而redo log在往磁盘文件中写入数据时,由于是日志文件,所以是顺序IO。顺序IO的效率要远大于随机IO。 这种先写日志的方式,称之为 WAL ( Write-Ahead Logging )。

二、undo log

  回滚日志,用于记录数据被修改前的信息 , 作用包含两个:

  • 提供回滚(保证事务的原子性和一致性)
  • MVCC(多版本并发控制)

  undo log和redo log记录物理日志不一样,它记录的是逻辑日志。可以认为当delete一条记录时,undo log中会记录一条对应的insert记录,反之亦然,当update一条记录时,它记录一条对应相反的update记录。如此一来,当执行事务回滚时,就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。从而保证了事务的原子性和一致性。
  undo log采用段的方式进行管理和记录,存放在InnoDB存储引擎的rollback segment回滚段中。undo log在事务执行时产生,事务提交时,并不会立即删除undo log,因为这些日志可能还用于MVCC。

三、MVCC

  全称Multi-Version Concurrency Control,即多版本并发控制。指维护一个数据的多个版本,使得读写操作没有冲突。MVCC的具体实现,依赖于数据库记录中的隐式字段、undo log日志、readView。

1. 隐式字段

  在一张表中,每行数据除了我们设置的字段以外,InnoDB还会自动地添加三个隐藏字段:

隐藏字段含义
DB_TRX_ID最近修改事务ID,记录插入这条记录或最后一次修改该记录的事务ID(从1开始自增)
DB_ROLL_PTR回滚指针,指向这条记录的上一个版本,用于配合undo log,指向上一个版本
DB_ROW_ID隐藏主键,如果表结构没有指定主键,将会生成该隐藏字段

  上述的前两个字段是肯定会添加的,是否添加最后一个字段取决于当前表有没有主键,如果有主键,则不会添加该隐藏字段。

2. undo log

  当执行insert的时候,产生的undo log日志只在回滚时需要,在事务提交后,可被立即删除。而执行update、delete的时候,产生的undo log日志不仅在回滚时需要,在快照读时也需要,不会立即被删除。
  下面我们介绍一下undo log版本链的生成。假设有一张表的原始数据为
在这里插入图片描述
然后,有四个并发事务同时在操作这张表。

A. 第一步
在这里插入图片描述

  当事务2执行第一条修改语句时,会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

B. 第二步

在这里插入图片描述

  当事务3执行第一条修改语句时,也会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

C. 第三步

在这里插入图片描述

  当事务4执行第一条修改语句时,也会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

  最终我们发现,不同事务或相同事务对同一条记录进行修改,会导致该记录的undolog生成一条记录版本链表,链表的头部是最新的旧记录,链表尾部是最早的旧记录。

3. readView

  首先我们先介绍两个概念,当前读和快照读。

  • 当前读
      读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。对于我们日常的操作,如:select … lock in share mode(共享锁),select …for update、update、insert、delete(排他锁)都是一种当前读。
  • 快照读
      简单的select(不加锁)就是快照读,快照读,读取的是记录数据的可见版本,有可能是历史数据,不加锁,是非阻塞读。在不同的事务隔离级别下,生成快照读的时机不同。
    • Read Committed:每次select,都生成一个快照读。
    • Repeatable Read:开启事务后仅在第一个select语句快照读。
    • Serializable:快照读会退化为当前读。

  ReadView(读视图)是快照读SQL执行时MVCC提取数据的依据,记录并维护系统当前活跃的事务(未提交的)id。ReadView中包含了四个核心字段:

字段含义
m_ids当前活跃的事务ID集合
min_trx_id最小活跃事务ID
max_trx_id预分配事务ID,当前最大事务ID+1(因为事务ID是自增的)
creator_trx_idReadView创建者的事务ID

而在readView中也规定了版本链数据的访问规则(trx_id代表undolog版本链中记录的事务ID):

条件是否可以访问说明
trx_id ==creator_trx_id可以访问该版本成立,说明数据是当前这个事务更改的
trx_id < min_trx_id可以访问该版本成立,说明数据已经提交
trx_id > max_trx_id不可以访问该版本成立,说明该事务是在readView生成后才开启
min_trx_id <= trx_id<= max_trx_id如果trx_id不在m_ids中,是可以访问该版本的成立,说明数据已经提交

4. 实现原理

  前面我们说过,在不同隔离级别下生成readView的时机不同。

4.1 RC隔离级别

  RC隔离级别下,在事务中每一次执行快照读时生成ReadView。
在事务5中执行了两次select操作,每一次都会生成一个readView,第一条select语句执行时,事务3、4、5都未提交,第二条select语句执行时,事务4、5未提交。

在这里插入图片描述

两个readView我们到底会获得什么样的数据呢?先来看第一次快照读具体的读取过程:

在这里插入图片描述

代入trx_id=4,发现右图中四条均不满足;代入trx_id=3,发现同样不满足;代入trx_id=2,在②处满足,因此这条查询语句拿到的结果就是

在这里插入图片描述

再来看第二次快照读具体的读取过程:

在这里插入图片描述

代入trx_id=4,发现右图中四条均不满足;代入trx_id=3,在②处满足,因此这条查询语句拿到的结果就是

在这里插入图片描述

4.2 RR隔离级别

  RR隔离级别下,仅在事务中第一次执行快照读时生成readView,后续复用该readView。 这也印证了RR是可重复读,在一个事务中,执行两次相同的select语句,查询到的结果应是一样的。

在这里插入图片描述
同样的分析方式,可以看出两次select语句拿到的都是

在这里插入图片描述

  综上所述,MVCC的实现原理就是通过InnoDB表的隐藏字段、undo log版本链、readView来实现的。而MVCC+锁,则实现了事务的隔离性。

关于MVCC还想了解更多的朋友们可以参考 MVCC详解!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/747728.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

了解常用测试模型 -- V模型、W模型

目录 V模型 测试流程 特点 优、缺点 w模型/双v模型 测试流程 特点 优、缺点 V模型 测试流程 用户需求&#xff1a;产品经理将用户需求转变为软件需求 需求分析与系统设计&#xff1a;验证需求是否正确&#xff0c;确定编程语言和框架 概要设计&#xff1a;项目结构设…

Java数据结构-优先级队列

文章目录 前言一、优先级队列1.1 概念 二、优先级队列的模拟实现2.1 堆的概念2.2 堆的存储方式2.3 堆的创建2.3.1 堆向下调整2.3.2 堆的创建2.3.3 建堆的时间复杂度 2.4 堆的插入与删除2.4.1 堆的插入2.4.2 堆的删除 2.5 用堆模拟实现优先级队列 三、常用接口介绍3.1 PriorityQ…

鼓楼夜市管理wpf+sqlserver

鼓楼夜市管理系统wpfsqlserver 下载地址:鼓楼夜市管理系统wpfsqlserver 说明文档 运行前附加数据库.mdf&#xff08;或sql生成数据库&#xff09; 主要技术&#xff1a; 基于C#wpf架构和sql server数据库 功能模块&#xff1a; 登录注册 鼓楼夜市管理系统主界面所有店铺信…

C++类与对象二

目录 一、类的嵌套 二、对象引用私有数据成员 通过公有函数为私有成员赋值 利用指针访问私有数据成员 利用函数访问私有数据成员 利用引用访问私有数据成员 三、成员函数重载 四、this指针 一、类的嵌套 #include <iostream> using namespace std;class CC1 { p…

华为配置中心AP内漫游实验

华为配置中心AP内漫游示例 组网图形 图1 配置中心AP内漫游组网图 配置流程组网需求配置思路数据规划配置注意事项操作步骤配置文件 配置流程 WLAN不同的特性和功能需要在不同类型的模板下进行配置和维护&#xff0c;这些模板统称为WLAN模板&#xff0c;如域管理模板、射频模…

Spring Cloud Gateway针对指定接口做响应超时时间限制

背景&#xff1a;我做的这个服务中存在要对大数据量做自定义统计的接口和大文件上传接口&#xff0c;接口响应用时会超过gateWay配置的全局用时&#xff0c;如果调整网关全局的超时时间和服务的全局超时时间是不合理的&#xff0c;故此想能否单独针对某个接口进行细粒度超时限制…

林木园区改造VR仿真培训课件提高人们的专业素质

森林经营VR模拟体验摆脱了传统森林经营周期长、实践难及耗材大等问题&#xff0c;借助VR虚拟仿真技术为人们提供一种全新的、沉浸式的森林经营体验&#xff0c;让人们更好地了解森林经营的全周期。 提高人们的环保意识 通过亲身参与森林经营的过程&#xff0c;人们可以更直观地…

4、鸿蒙学习-@ohos.promptAction (弹窗)

创建并显示文本提示框、对话框和操作菜单。 说明 本模块首批接口从API version 9开始支持。后续版本的新增接口&#xff0c;采用上角标单独标记接口的起始版本。 该模块不支持在UIAbility的文件声明处使用&#xff0c;即不能在UIAbility的生命周期中调用&#xff0c;需要在创建…

关于python中数据分析的一些函数

首先先下载numpy函数库 如果使用的pycharm软件&#xff0c;可在设置中下载&#xff0c;在Python interpreter设置里&#xff0c;点击号&#xff0c;搜索numpy点击下载即可 第一部分 1.array()函数 这是一个将类似数组的数据转为数组的函数&#xff0c;我们还可以控制其数组的…

【Unity】程序创建Mesh(二)MeshRenderer、光照、Probes探针、UV信息、法线信息

文章目录 接上文MeshRenderer&#xff08;网格渲染器&#xff09;Materials&#xff08;材质&#xff09;Material和Mesh对应Lighting光照Lightmapping材质中的光照 光源类型阴影全局光照Probes&#xff08;探针&#xff09;Ray Tracing&#xff08;光线追踪&#xff09;Additi…

【C++】map和set深度讲解

> 作者简介&#xff1a;დ旧言~&#xff0c;目前大二&#xff0c;现在学习Java&#xff0c;c&#xff0c;c&#xff0c;Python等 > 座右铭&#xff1a;松树千年终是朽&#xff0c;槿花一日自为荣。 > 目标&#xff1a;熟练掌握map和set容器。 > 毒鸡汤&#xff1a;…

升入理解计算机系统学习笔记

磁盘存储 磁盘是广为应用的保存大量数据的存储设备&#xff0c;存储数据的数量级可以达到几百到几千千兆字节&#xff0c;而基于RAM的存储器只能有几百或几千兆字节。不过&#xff0c;从磁盘上读信息的时间为毫秒级&#xff0c;比从DRAM读慢了10万倍&#xff0c;比从SRAM读慢了…

NodeJs利用腾讯云实现手机发送验证码

本文介绍如何在nodejs实现短信发送&#xff0c;以腾讯云的短信验证为例。 腾讯云中准备工作 首先需要腾讯云的个人或者企业认证的账号&#xff0c;个人会赠送一百条&#xff0c;企业赠送一千条&#xff0c;可以用于测试&#xff0c;地址&#xff1a;腾讯云短信服务。然后需要…

《Ubuntu20.04环境下的ROS进阶学习5》

一、Hector_Mapping构建二维地图 在前面我们已经介绍了如何使用激光雷达来扫描地图&#xff0c;如何用激光雷达来建造地图&#xff0c;本节我们将两者结合起来&#xff0c;通过Hector_Mapping功能包实现SLAM。 二、在仿真环境中进行2D SLAM 1、下载Hector_Mapping sudo apt i…

【论文阅读笔记】Attention Is All You Need

1.论文介绍 Attention Is All You Need 2017年 NIPS transformer 开山之作 回顾一下经典&#xff0c;学不明白了 Paper Code 2. 摘要 显性序列转导模型基于包括编码器和解码器的复杂递归或卷积神经网络。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一个新…

【Numpy】练习题100道(26-50题)

#学习笔记# 在学习神经网络的过程中发现对numpy的操作不是非常熟悉&#xff0c;遂找到了Numpy 100题。 Git-hub链接 1.题目列表 26. 下面的脚本输出什么&#xff1f;(★☆☆) print(sum(range(5),-1)) from numpy import * print(sum(range(5),-1)) 27. 考虑一个整数向量…

怎样提升小程序日活?签到抽奖可行吗?

一、 日活运营策略 小程序应该是即用即走的&#xff0c;每个小程序都在用户中有自己的独特定位&#xff0c;可能是生活日常必备&#xff08;美食、团购、商城&#xff09;&#xff0c;也可能是工作办公必备&#xff08;文档、打卡、工具&#xff09;。 如果你想要让自己的小程…

云计算与APP开发,如何利用云端服务提升应用性能?

随着移动应用程序&#xff08;APP&#xff09;的普及&#xff0c;如何提升应用性能成为了开发者们关注的重点之一。而云计算技术的发展为APP开发者提供了全新的解决方案。本文将探讨云计算与APP开发的结合&#xff0c;以及我们公司提出的解决方案&#xff0c;帮助开发者利用云端…

KMP 算法介绍

1. KMP 算法介绍 KMP 算法&#xff1a;全称叫做 「Knuth Morris Pratt 算法」&#xff0c;是由它的三位发明者 Donald Knuth、James H. Morris、 Vaughan Pratt 的名字来命名的。KMP 算法是他们三人在 1977 年联合发表的。 KMP 算法思想&#xff1a;对于给定文本串 T 与模式串 …

使用 ZipArchiveInputStream 读取压缩包内文件总数

读取压缩包内文件总数 简介 ZipArchiveInputStream 是 Apache Commons Compress 库中的一个类&#xff0c;用于读取 ZIP 格式的压缩文件。在处理 ZIP 文件时&#xff0c;编码格式是一个重要的问题&#xff0c;因为它决定了如何解释文件中的字符数据。通常情况下&#xff0c;Z…