Mysql 学习(十五)redo 日志

redo 日志

  • 什么是redo日志?
  • 在说这个之前我们先来想一个场景,在访问磁盘的页面之前,我们会先把页面缓存到Buffer Pool之后,才会访问。写页面的时候也会先将buffer pool中的页面修改之后,然后在某个时机才会刷新到磁盘中。这个时候就有个问题,我们知道 InnoDB 是支持事务的,假设我们提交了一个修改的事务,但是事务提交之后,系统突然发生故障了,导致内存数据丢失了,那我们事务的持久性要怎么做保证呢?
  • 最简单的做法是,事务提交完成前,就把事务所修改的页面都刷新到磁盘,这样就不会有问题
  • 但是,有两个问题:
    • 刷新一个完整的数据页太浪费资源,因为有可能一个数据页只更新了一个数据,然后就要刷新整个数据页,性价比太低了
    • 事务可能包含了很多修改语句,语句可能修改了很多页面,这些页面不一定是顺序存储的,所以我们随机IO 刷新数据页会特别慢
  • 所以上面那种方案性价比太低了,回顾整个场景,我们其实要解决的问题无非就是把修改的操作记录下来,并且事务提交之后永久生效嘛,即使系统崩溃了也能及时修复
  • 而存储事务对数据库修改的日志文件,被称之为 redo log
  • 使用 redo 日志的优点在于:
    • redo 日志占用空间小:
    • redo 日志刷新磁盘是顺序IO

redo 日志格式

  • redo 日志的本质是记录了一下事务对数据库做了哪些修改,所以 redo 日志都会有下面这些通用的结构:在这里插入图片描述

    • type:该条redo日志类型

      • MLOG_1BYTE(type字段对应的十进制数字为1):表示在页面的某个偏移量处写入1个字节的redo日志类型。

      • MLOG_2BYTE(type字段对应的十进制数字为2):表示在页面的某个偏移量处写入2个字节的redo日志类型。

      • MLOG_4BYTE(type字段对应的十进制数字为4):表示在页面的某个偏移量处写入4个字节的redo日志类型。

      • MLOG_8BYTE(type字段对应的十进制数字为8):表示在页面的某个偏移量处写入8个字节的redo日志类型。

        • 当 type 类型为这个类型时,会多一个参数:offset 在这里插入图片描述
      • MLOG_WRITE_STRING(type字段对应的十进制数字为30):表示在页面的某个偏移量处写入一串数据。

        • 当 type 类型为这个类型时,会多两个参数:offset len 在这里插入图片描述
    • space ID:表空间ID

    • page number:页号

    • data:该条redo 日志的具体内容

复杂的 redo 日志类型

  • 有时候执行一条语句会修改很多东西,比如一条insert 语句会更新许多 B+ 树,对于一颗 B+ 树可能又会更新很多节点
  • 那这个时候就有个疑问了,假设我们执行一条语句,会更新很多地方,比如下图: 在这里插入图片描述
  • 我们需不需要把这些更新信息都保存下来呢?毕竟把一条记录插入到一个页面需要更改的地方存储下来的空间可能比单纯存这条记录都要大,所以要怎么存储才合适呢?
  • 这个时候我们就需要引入一些新的 type 类型,这些 type 类型又有配套的 函数,而我们只需要存储这些函数需要的参数就可以了
  • 我们举个例子,类型为 MLOG_COMP_REC_INSERT ,代表插入一条使用紧凑行格式的记录
  • 先来看一下这个日志类型的结构:在这里插入图片描述
    • 其中 n_uniques 代表这条记录的唯一值,field1_len ~ fieldn_len代表着该记录若干个字段占用存储空间的大小,offset代表的是该记录的前一条记录在页面中的地址等等,根据这些参数,在恢复的时候调用这个函数,就可以将数据恢复到系统崩溃前的样子

Mini-Transaction

  • redo 日志的更新是根据组来更新的,而这种方式被称之为 Mini-Transaction ,为什么会需要这样的呢?
  • 这个时候就不得不说一个场景,当你往一个有空闲空间的页插入一条数据,更改的redo记录会比较少,我们基本上使用一行就能解决,叫做乐观插入,但是假设你往一个已经满空间的页插入一条数据,则会产生页分裂,也就是新建一个叶子节点,然后把原先数据页中的一部分记录复制到这个新的数据页中,然后再把记录插入进去,把这个叶子节点插入到叶子节点链表中,最后还要在内节点中添加一条目录项记录指向这个新创建的页面。
  • 很明显上述操作会产生多条redo日志,但是这个操作必须是原子性的,不能说插入一般就停止了,所以就规定执行这些需要保证原子性的操作时,就必须以组的形式来记录redo日志
  • 理解之后,我们就来思考,如何把这些redo日志划分到一个组里边呢?
  • 设计InnoDB的大佬做了一个很简单的小把戏,就是在该组中的最后一条redo日志后边加上一条特殊类型的redo日志,该类型名称为MLOG_MULTI_REC_END,type字段对应的十进制数字为31,该类型的redo日志结构很简单,只有一个type字段:在这里插入图片描述所以某个需要保证原子性的操作产生的一系列redo日志必须要以一个类型为MLOG_MULTI_REC_END结尾,就像这样:在这里插入图片描述这样在系统奔溃重启进行恢复时,只有当解析到类型为MLOG_MULTI_REC_END的redo日志,才认为解析到了一组完整的redo日志,才会进行恢复。否则的话直接放弃前面解析到的redo日志。
  • 但是有些原子性操作只生成了一条redo日志,后面如果加上一个MLOG_MULTI_REC_END的redo日志,会不会太过浪费了,所以设计InnoDB的大佬type的第一个比特位作为判断,如果type字段的第一个比特位为1,代表该需要保证原子性的操作只产生了单一的一条redo日志,否则表示该需要保证原子性的操作产生了一系列的redo日志。
  • 了解完大致之后,我们需要知道,什么时机下产生的redo日志被设计InnoDB的大佬人为的划分成了若干个不可分割的组:
    • 更新Max Row ID属性时产生的redo日志是不可分割的。
    • 向聚簇索引对应B+树的页面中插入一条记录时产生的redo日志是不可分割的。
    • 向某个二级索引对应B+树的页面中插入一条记录时产生的redo日志是不可分割的
    • 还有其他的一些对页面的访问操作时产生的redo日志是不可分割的
  • 顺便总结一下 Mini-Transaction 的概念:设计MySQL的大佬把对底层页面中的一次原子访问的过程称之为一个Mini-Transaction,简称mtr在这里插入图片描述

redo 日志的写入过程

  • redo log block:redo 日志存储单元,都是一个个页在这里插入图片描述

    • log block header:
      • LOG_BLOCK_HDR_NO:每一个block都有一个大于0的唯一标号,本属性就表示该标号值
      • LOG_BLOCK_HDR_DATA_LEN:表示block中已经使用了多少字节,初始值为12(因为log block body从第12个字节处开始)。随着往block中写入的redo日志越来也多,本属性值也跟着增长。如果log block body已经被全部写满,那么本属性的值被设置为512。
      • LOG_BLOCK_FIRST_REC_GROUP:一条redo日志也可以称之为一条redo日志记录(redo log record),一个mtr会生产多条redo日志记录,这些redo日志记录被称之为一个redo日志记录组(redo log record group)
      • LOG_BLOCK_FIRST_REC_GROUP就代表该block中第一个mtr生成的redo日志记录组的偏移量(其实也就是这个block里第一个mtr生成的第一条redo日志的偏移量)。
      • LOG_BLOCK_CHECKPOINT_NO:表示所谓的checkpoint的序号,checkpoint是我们后续内容的重点,现在先不用清楚它的意思,稍安勿躁。
  • redo 日志缓冲区:设计InnoDB的大佬为了解决磁盘速度过慢的问题而引入了Buffer Pool。同理,写入redo日志时也不能直接直接写到磁盘上,实际上在服务器启动时就向操作系统申请了一大片称之为redo log buffer的连续内存空间,翻译成中文就是redo日志缓冲区,我们也可以简称为log buffer。这片内存空间被划分成若干个连续的redo log block,就像这样:在这里插入图片描述

  • log buffer

redo 日志文件

  • 刷机时机:
    • log buffer 空间不足的时候
    • 事务提交的时候
    • 后台线程每秒异步刷新一次 log buffer 到 redo 日志到磁盘
    • 正常关闭服务器的时候
    • checkpoint 的时候
  • 日志文件组:redo 日志文件在磁盘上是不止一个的,而是以一个文件组的方式出现的,文件名是以ib_logfile为前缀,数字为后缀进行命名的,例如 ib_logfile0,ib_logfile1,默认情况下,会创建这两个文件,但是我们可以通过一些参数来调整文件的数量和大小
    • innodb_log_group_home_dir:该参数指定了redo日志文件所在的目录,默认值就是当前的数据目录
    • innodb_log_file_size:该参数指定了每个redo日志文件的大小,在MySQL 5.7.21这个版本中的默认值为48MB
    • innodb_log_files_in_group:该参数指定redo日志文件的个数,默认值为2,最大值为100。
    • 磁盘上redo日志文件的大小就是 innodb_log_file_size × innodb_log_files_in_group
  • 日志文件格式:被划分为 512 个字节大小的block,其实就是由若干个512字节大小的block组成,分为两部分组成
    • 前2048个字节,存储一些管理信息
      • 前4个block分别为什么:在这里插入图片描述

        • log file header:描述该redo日志文件的一些整体属性:在这里插入图片描述
          • LOG_HEADER_FORMAT 4字节 redo日志的版本,在MySQL 5.7.21中该值永远为1
          • LOG_HEADER_PAD1 4 做字节填充用的,没什么实际意义,忽略~
          • LOG_HEADER_START_LSN 8 标记本redo日志文件开始的LSN值,也就是文件偏移量为2048字节初对应的LSN值(关于什么是LSN我们稍后再看,看不懂的先忽略)。
          • LOG_HEADER_CREATOR 32 一个字符串,标记本redo日志文件的创建者是谁。正常运行时该值为MySQL的版本号,比如:“MySQL 5.7.21”,使用mysqlbackup命令创建的redo日志文件的该值为"ibbackup"和创建时间。
          • LOG_BLOCK_CHECKSUM 4 本block的校验值,所有block都有,我们不关心
        • checkpoint1:记录关于checkpoint的一些属性在这里插入图片描述
          • LOG_CHECKPOINT_NO 8字节 服务器做checkpoint的编号,每做一次checkpoint,该值就加1。
          • LOG_CHECKPOINT_LSN 8字节 服务器做checkpoint结束时对应的LSN值,系统奔溃恢复时将从该值开始。
          • LOG_CHECKPOINT_OFFSET 8字节 上个属性中的LSN值在redo日志文件组中的偏移量
          • LOG_CHECKPOINT_LOG_BUF_SIZE 8字节 服务器在做checkpoint操作时对应的log buffer的大小
          • LOG_BLOCK_CHECKSUM 4字节 本block的校验值,所有block都有,我们不关心
        • checkpoint2:结构和checkpoint1一样
    • 从2048个字节开始,就是用来存储block数据
  • Log Sequeue Number:日志序列号,初始值为8704,随着插入日志一直增长
    • 系统第一次启动后初始化 log buffer 时,就会指向第一个block 的偏移量为12字节的地方,然后lsn就会随之增加:8704+12 = 8716
    • 如果当前待插入的block空间可以容纳即将插入mtr提交的日志,lsn的增长值就应该是 mtr 生成 redo 日志占用的字节数,8716+200 = 8916
    • 如果某个mtr产生的一组redo日志占用的存储空间比较大,也就是待插入的block剩余空闲空间不足以容纳这个mtr提交的日志时,lsn增长的量就是该mtr生成的redo日志占用的字节数加上额外占用的log block header和log block trailer的字节数:8916+1000+122+42 = 9948
    • 每一组由mtr生成的redo日志都有一个唯一的LSN值与其对应,LSN值越小,说明redo日志产生的越早
  • flushed_to_disk_lsn:redo日志是首先写到log buffer中,之后才会被刷新到磁盘上的redo日志文件。所以设计InnoDB的大佬提出了一个称之为buf_next_to_write的全局变量,标记当前log buffer中已经有哪些日志被刷新到磁盘中了。在这里插入图片描述
    • 系统初始化的时候,flushed_to_disk_lsn 的值跟 lsn 是一样的
    • 当有新的redo日志写入到log buffer时,首先lsn的值会增长,但flushed_to_disk_lsn不变,随后随着不断有log buffer中的日志被刷新到磁盘上,flushed_to_disk_lsn的值也跟着增长。如果两者的值相同时,说明log buffer中的所有redo日志都已经刷新到磁盘中了。
  • lsn值和redo日志文件偏移量的对应关系: 因为lsn的值是代表系统写入的redo日志量的一个总和,一个mtr中产生多少日志,lsn的值就增加多少(当然有时候要加上log block header和log block trailer的大小),这样mtr产生的日志写到磁盘中时,很容易计算某一个lsn值在redo日志文件组中的偏移量
  • flush链表中的LSN:
    • 在mtr执行过程中可能修改过的页面加入到Buffer Pool的flush链表
    • flush缓存页中的控制块记录两个关于页面何时修改的属性:
      • oldest_modification:如果某个页面被加载到Buffer Pool后进行第一次修改,那么就将修改该页面的mtr开始时对应的lsn值写入这个属性。
      • newest_modification:每修改一次页面,都会将修改该页面的mtr结束时对应的lsn值写入这个属性。也就是说该属性表示页面最近一次修改后对应的系统lsn值。
    • flush链表中的脏页按照修改发生的时间顺序进行排序,也就是按照oldest_modification代表的LSN值进行排序,被多次更新的页面不会重复插入到flush链表中,但是会更新newest_modification属性的值。

checkpoint

  • 有一个很不幸的事实就是我们的redo日志文件组容量是有限的,我们不得不选择循环使用redo日志文件组中的文件,但是这会造成最后写的redo日志与最开始写的redo日志追尾,这时应该想到:redo日志只是为了系统奔溃后恢复脏页用的,如果对应的脏页已经刷新到了磁盘,也就是说即使现在系统奔溃,那么在重启后也用不着使用redo日志恢复该页面了,所以该redo日志也就没有存在的必要了,那么它占用的磁盘空间就可以被后续的redo日志所重用。也就是说:判断某些redo日志占用的磁盘空间是否可以覆盖的依据就是它对应的脏页是否已经刷新到磁盘里。
  • 这边举个例子来说明:现在页a被刷新到了磁盘,mtr_1生成的redo日志就可以给覆盖了,所以进行一个增加checkpoint_lsn操作
    • 步骤一:计算一下当前系统中可以被覆盖的redo日志对应的lsn值最大是多少:redo日志可以被覆盖,意味着它对应的脏页被刷到了磁盘,只要我们计算出当前系统中被最早修改的脏页对应的oldest_modification值,那凡是在系统lsn值小于该节点的oldest_modification值时产生的redo日志都是可以被覆盖掉的,我们就把该脏页的oldest_modification赋值给checkpoint_lsn。
      • 比方说当前系统中页a已经被刷新到磁盘,那么flush链表的尾节点就是页c,该节点就是当前系统中最早修改的脏页了,它的oldest_modification值为8916,我们就把8916赋值给checkpoint_lsn(也就是说在redo日志对应的lsn值小于8916时就可以被覆盖掉)。
    • 步骤二:将checkpoint_lsn和对应的redo日志文件组偏移量以及此次checkpint的编号写到日志文件的管理信息(就是checkpoint1或者checkpoint2)中。
      • 设计InnoDB的大佬维护了一个目前系统做了多少次checkpoint的变量checkpoint_no,每做一次checkpoint,该变量的值就加1。我们前面说过计算一个lsn值对应的redo日志文件组偏移量是很容易的,所以可以计算得到该checkpoint_lsn在redo日志文件组中对应的偏移量checkpoint_offset,然后把这三个值都写到redo日志文件组的管理信息中。
      • 我们说过,每一个redo日志文件都有2048个字节的管理信息,但是上述关于checkpoint的信息只会被写到日志文件组的第一个日志文件的管理信息中。不过我们是存储到checkpoint1中还是checkpoint2中呢?设计InnoDB的大佬规定,当checkpoint_no的值是偶数时,就写到checkpoint1中,是奇数时,就写到checkpoint2中。

崩溃恢复

确定恢复的起点

  • 从checkpoint_lsn 开始读取redo日志来恢复页面
  • 衡量checkpoint发生时间早晚的信息就是所谓的checkpoint_no,我们只要把checkpoint1和checkpoint2这两个block中的checkpoint_no值读出来比一下大小,哪个的checkpoint_no值更大,说明哪个block存储的就是最近的一次checkpoint信息。这样我们就能拿到最近发生的checkpoint对应的checkpoint_lsn值以及它在redo日志文件组中的偏移量checkpoint_offset。

确定恢复的终点

  • 普通block的log block header部分有一个称之为LOG_BLOCK_HDR_DATA_LEN的属性,该属性值记录了当前block里使用了多少字节的空间。对于被填满的block来说,该值永远为512。如果该属性的值不为512,那么就是它了,它就是此次奔溃恢复中需要扫描的最后一个block。

总结(待更新)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/729497.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java项目开发过程中,栈溢出错误的解决方式

项目场景: 背景: 使用 idea 开发java项目时,栈溢出错误的解决方式。 问题描述 问题: Handler dispatch failed; nested exception is java.lang.StackOverflowErrororg.springframework.web.util.NestedServletException: Hand…

邮件发送API使用指南?怎么选邮件api接口?

邮件发送api接口是什么?如何自定义API接口发信域名? 通过邮件发送API,我们可以轻松实现邮件的批量发送、个性化定制以及实时追踪等功能。AokSend将详细介绍邮件发送API的使用方法和注意事项,帮助您更好地利用这一工具&#xff0c…

植物病害识别:YOLO茶叶病害识别数据集

茶叶病害识别数据集,3200多张茶叶病害图像数据,yolo标注完整,适用于茶叶病害识别,包含藻斑病、褐斑病、鸟眼斑病,炭疽病,红斑病5个类别。 增强方式:(3倍增强) 剪切&…

基于apicloud+vue的汽车服务系统设计与实现

目 录 摘 要 I Abstract II 引 言 1 1 课题背景 3 1.1 课题的研究背景与意义 3 1.2研究现状 3 1.3本章小结 4 2 系统开发相关技术 5 2.1 ApiCloud开发工具 5 2.2 MVC架构模型 5 2.3 MySQL数据库 5 2.4 Hibernate、Spring框架 6 2.5 本章小结 6 3 系统分析 7 3.1 系统需求分析 …

Transformer中Self-Attention的详细解读

Transformer最早是在论文《Attention is All You Need》中提出的,目前已广泛应用于NLP领域,如语言翻译、文本分类、问答系统等。由于在产品规划中需要使用这样的模型结构,因此花了一些时间对其进行了一些学习理解。 除了阅读论文及配套的代码…

JS-05-字符串

一、字符串的表示 JavaScript的字符串就是用...或"..."括起来的字符表示。 如果本身也是一个字符,那就可以用"..."括起来,比如: var a "Im ok"; 如果字符串内部既包含又包含"怎么办?可以…

每日一题-环形链表的约瑟夫问题

🌈个人主页: 会编辑的果子君 💫个人格言:“成为自己未来的主人~” /*** 代码中的类名、方法名、参数名已经指定,请勿修改,直接返回方法规定的值即可** * param n int整型 * param m int整型 * return int整型*/ typedef struct…

【MATLAB 】 EMD信号分解+FFT傅里叶频谱变换组合算法

有意向获取代码,请转文末观看代码获取方式~ 展示出图效果 1 EMD信号分解算法 EMD 分解又叫经验模态分解,英文全称为 Empirical Mode Decomposition。 EMD 是一种信号分解方法,它将一个信号分解成有限个本质模态函数 (EMD) 的和&#xff0c…

地平线零之曙光图文攻略,地平线零之曙光在MAC电脑能玩吗

《地平线零之曙光》是一款由Guerrilla Games开发的动作角色扮演游戏,。 如果你非常想在MAC电脑体验这款游戏,可以考虑通过crossover来实现在MAC电脑上进行游玩。 本文讲描述如何在MAC电脑玩地平线:黎明时分 首先下载安装好crossover&#…

想交易盈利?Anzo Capital昂首资本发现了一本畅销书

要想在复杂多变的外汇市场中迅速加深了解并想通过交易每天都可以盈利,是通过每天阅读大量的书籍吗?是每天成为行业培训网络资源和论坛的常客吗?是通过花钱请有经验的交易者进行个人培训吗?还是进行EA交易呢? 都不是&a…

【VTKExamples::Points】第二期 DensifyPoints

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ:870202403 公众号:VTK忠粉 前言 本文分享VTK样例DensifyPoints,并解析接口vtkDensifyPointCloudFilter,希望对各位小伙伴有所帮助! 感谢各位小伙伴的点赞+关注,小易会继续努力分享,一起进步! 你的点赞就是我的动力…

第十五课 PCB保姆级规则设置(四)

1.常用的规则设置 2.设置完规则后,重新设置规则检查 将不设置的规则,不勾选 3.布线规则 (1)先走短线(模块之内的线) 模块之内的线需要连接,长线的话提前打孔(占位置)…

盘点热门的5个AI视频工具(上):附保姆级教程,居然还有免费的?(建议收藏)

一条完全使用 AI 做出的短视频,点赞上万,转发上万! 你敢信,这是我在前几天刷视频的时候,看到的一个 AI 视频案例。 这种 AI 视频为什么会火? AI 虽然不是什么新的领域,但 2023 年&#xff0c…

如何批量更改图片的创建时间和修改时间 ? 图片属性更改

在数字时代,图像已经成为我们日常生活中不可或缺的一部分。无论是在社交媒体上分享生活点滴,还是在工作报告中展示数据成果,图像都扮演着至关重要的角色。然而,有时我们可能需要对图像进行一些调整,以更好地满足我们的…

【MyBatis面试题】

目录 前言 1.MyBatis执行流程。 2.Mybatis是否支持延迟加载? 3.延迟加载的底层原理知道吗? 4.Mybatis的一级、二级缓存用过吗? 5.Mybatis的二级缓存什么时候会清理缓存中的数据? 总结 前言 本文主要介绍了MyBatis面试题相…

机器学习的魔法(一)从零开始理解吴恩达的精炼笔记

一、机器学习是什么? 1、机器学习的概念 机器学习是一种人工智能领域的技术和方法,旨在使计算机系统能够从经验数据中自动学习和改进,而无需显式地进行编程。它涉及开发算法和模型,使计算机能够自动分析和理解数据,并…

基于DoDAF的航空装备智能保障系统体系结构建模

源自:系统工程与电子技术 作者:苗学问, 董骁雄, 钱征文, 胡杨, 李牧东 “人工智能技术与咨询” 发布 摘 要 保障系统结构建模是发展和构建新一代航空装备智能保障系统的重要基础。航空装备保障系统涉及保障要素多、交联关系复杂, 需从系统工程的角度…

单链表的实现(数据结构)

本篇博客主要是单链表(无头单项不循环)的实现的代码分享 说明:因为此单链表无头(哨兵位),可以说成没有初始化也可以说初始化时没有一个有效地址作为单链表的起始地址 例如下面代码中的plist NULL。 所以在…

倒计时!数境·第七届工业互联网数据创新应用大赛即将截止报名

共赴数据之旅,赋能工业未来! 由深圳市宝安区人民政府和 中国信息通信研究院共同主办的 数境第七届工业互联网数据创新应用大赛 以“数实融合,助推新型工业化”为主题 聚焦先进制造、新能源和电子信息领域 设置算法赛和方案赛共三大赛道…

#QT(串口助手-界面)

1.IDE:QTCreator 2.实验:编写串口助手 3.记录 接收框:Plain Text Edit 属性选择:Combo Box 发送框:Line Edit 广告:Group Box (1)仿照现有串口助手设计UI界面 (2)此时串口助手大…