关系数据库——数据库恢复

实现技术

 

  • 恢复操作的基本原理:冗余 
  • 恢复机制涉及的两个关键问题
  1. 如何建立冗余数据
    • 数据转储(backup
    • 登录日志文件(logging
  2.  如何利用这些冗余数据实施数据库恢复

 

数据转储

 

  • 数据转储定义:

转储是指DBA将整个数据库复制到其他存储介质上保存起来的过程,备用的数据称为后备副本或后援副本

  • 如何使用
    1. 数据库遭到破坏后可以将后备副本重新装入
    2. 重装后备副本只能将数据库恢复到转储时的状态
  • 转储方法
    1. 静态转储与动态转储
    2. 海量转储与增量转储

静态转储:

1)定义:在系统中无事务运行时进行的转储操作。转储开始的时刻数据库处于一  致性状态,而转储不允许对数据库的任何存取、修改活动。静态转储得到的一定是一个数据一致性的副本。

2)优点:实现简单

3)缺点:降低了数据库的可用性

转储必须等待正运行的用户事务结束才能进行;新的事务必须等待转储结束才能执行

动态转储:

            1)定义:转储期间允许对数据库进行存取或修改。转储和用户事务可以并发执行。

            2)优点:不用等待正在运行的用户事务结束;不会影响新事务的运行。

            3)实现:必须把转储期间各事务对数据库的修改活动登记下来,建立日志文件后备副本加上日志文件就能把数据库恢复到某一时刻的正确状态。

海量转储:

            1)定义:每次转储全部数据库

            2)特点:从恢复角度,使用海量转储得到的后备副本进行恢复更方便一些。

增量转储:

            1)定义:每次只转储上一次转储后更新过的数据

            2)特点:如果数据库很大,事务处理又十分频繁,则增量转储方式更实用更有效。

 

日志文件

 

1、什么是日志文件

日志文件(log)是用来记录事务对数据库的更新操作的文件

2、日志文件的格式

1)以记录为单位:

日志文件中需要登记的内容包括:

    • 各个事务的开始标记(BEGIN TRANSACTION)
    • 各个事务的结束标记(COMMITROLLBACK)
    • 各个事务的所有更新操作

     以上均作为日志文件中的一个日志记录                   

每个日志记录的内容:

  • 事务标识(标明是哪个事务)
  • 操作类型(插入、删除或修改)
  • 操作对象(记录内部标识)
  • 更新前数据的旧值(对插入操作而言,此项为空值)
  • 更新后数据的新值(对删除操作而言, 此项为空值)

 

2)以数据块为单位

日志记录内容包括:

事务标识(标明是哪个事务)

 被更新的数据块

3、日志文件的作用

  • 进行事务故障恢复
  • 进行系统故障恢复
  • 协助后备副本进行介质故障恢复

1)事务故障恢复和系统故障恢复必须用日志文件

2)在动态转储方式中必须建立日志文件,后备副本和日志文件结合起来才能有效地恢复数据库

3)静态转储方式中也可以建立日志文件(重新装入后备副本,然后利用日志文件把已完成的事务进行重做,对未完成事务进行撤销)

4、登记日志文件:

  • 基本原则
    1. 登记的次序严格按并行事务执行的时间次序
    2. 必须先写日志文件,后写数据库

为什么要先写日志文件?

1)写数据库和写日志文件是两个不同的操作,在这两个操作之间可能发生故障

2)如果先写了数据库修改,而在日志文件中没有登记下这个修改,则以后就无法恢复这个修改了

3)如果先写日志,但没有修改数据库,按日志文件恢复时只不过是多执行一次不必要的UNDO操作,并不会影响数据库的正确性

 

恢复策略

 

事务故障的恢复

  • 事务故障:事务在运行至正常终止点前被终止
  • 恢复方法
    1. 由恢复子系统应利用日志文件撤消(UNDO)此事务已对数据库进行的修改
  • 事务故障的恢复由系统自动完成,对用户是透明的,不需要用户干预
  • 事务故障的恢复步骤

1. 反向扫描文件日志,查找该事务的更新操作。

2. 对该事务的更新操作执行逆操作。即将日志记录中“更新前的值” 写入数据库。

 

  •  插入操作, “更新前的值”为空,则相当于做删除操作
  •  删除操作,“更新后的值”为空,则相当于做插入操作
  •  若是修改操作,则相当于用修改前值代替修改后值

3. 继续反向扫描日志文件,查找该事务的其他更新操作,并做同样处理。

4. 如此处理下去,直至读到此事务的开始标记,事务故障恢复就完成了。

系统故障的恢复

  • 系统故障造成数据库不一致状态的原因
    1. 未完成事务对数据库的更新已写入数据库
    2. 已提交事务对数据库的更新还留在缓冲区没来得及写入数据库
  • 恢复方法
    1. Undo 故障发生时未完成的事务
    2. Redo 已完成的事务
  • 系统故障的恢复由系统在重新启动时自动完成,不需要用户干预
  • 系统故障的恢复步骤

1. 正向扫描日志文件

      • 重做(REDO) 队列: 在故障发生前已经提交的事务
        • 这些事务既有BEGIN TRANSACTION记录,也有COMMIT记录
      • 撤销 (Undo)队列: 故障发生时尚未完成的事务
        •  这些事务只有BEGIN TRANSACTION记录,无相应的COMMIT记录

2. 对撤销(Undo)队列事务进行撤销(UNDO)处理

      • 反向扫描日志文件,对每个UNDO事务的更新操作执行逆操作

3. 对重做(Redo)队列事务进行重做(REDO)处理

      • 正向扫描日志文件,对每个REDO事务重新执行登记的操作

介质故障的恢复

恢复步骤

重装数据库

  • 装入最新的后备副本,使数据库恢复到最近一次转储时的一致性状态。
  • 对于静态转储的数据库副本,装入后数据库即处于一致性状态
  • 对于动态转储的数据库副本,还须同时装入转储时刻的日志文件副本,利用恢复系统故障的方法(即REDO+UNDO),才能将数据库恢复到一致性状态。

 装入有关的日志文件副本,重做已完成的事务。

  • 首先扫描日志文件,找出故障发生时已提交的事务的标识,将其记入重做队列。
  • 然后正向扫描日志文件,对重做队列中的所有事务进行重做处理。
  • 介质故障的恢复需要DBA介入
  • DBA的工作
    1. 重装最近转储的数据库副本和有关的各日志文件副本
    2. 执行系统提供的恢复命令,具体的恢复操作仍由DBMS完成

检查点

  • 利用日志技术进行数据库恢复存在两个问题
    1. 搜索整个日志将耗费大量的时间
    2. REDO处理:事务实际上已经执行,又重新执行,浪费了大量时间
  • 具有检查点(checkpoint)的恢复技术
    1. 在日志文件中增加检查点记录(checkpoint
    2. 增加重新开始文件,并让恢复子系统在登录日志文件期间动态地维护日志
  • 检查点记录的内容
    1. 建立检查点时刻所有正在执行的事务清单
    2. 这些事务最近一个日志记录的地址
  • 重新开始文件的内容
    1. 记录各个检查点记录在日志文件中的地址

  • 动态维护日志文件的方法

周期性地执行如下操作:建立检查点,保存数据库状态。

具体步骤是:

1.将当前日志缓冲区中的所有日志记录写入磁盘的日志文件上

2.在日志文件中写入一个检查点记录

3.将当前数据缓冲区的所有数据记录写入磁盘的数据库中

4.把检查点记录在日志文件中的地址写入一个重新开始文件

 

使用检查点方法可以改善恢复效率

当事务T在一个检查点之前提交:

  1. T对数据库所做的修改一定都已写入数据库
  2. 写入时间是在这个检查点建立之前或在这个检查点建立之时
  3. 在进行恢复处理时,没有必要对事务T执行REDO操作

使用检查点的恢复步骤

 1.从重新开始文件中找到最后一个检查点记录在日志文件中的地址,由该地址在日志文件中找到最后一个检查点记录

 2.由该检查点记录得到检查点建立时刻所有正在执行的事务清单ACTIVE-LIST

  • 建立两个事务队列
    • UNDO-LIST
    • REDO-LIST
    • ACTIVE-LIST暂时放入UNDO-LIST队列,REDO队列暂为空

 3.从检查点开始正向扫描日志文件,直到日志文件结束

  • 如有新开始的事务Ti,把Ti暂时放入UNDO-LIST队列
  • 如有提交的事务Tj,把TjUNDO-LIST队列移到REDO-LIST队列

4.UNDO-LIST中的每个事务执行UNDO操作

                  REDO-LIST中的每个事务执行REDO操作

 

镜像

 

为避免硬盘介质出现故障影响数据库的可用性,许多DBMS提供了数据库映像(mirror)功能用于数据库恢复。

将整个数据库或其中的关键数据复制到另一个磁盘上,每当主数据库更新时,DBMS自动把更新后的数据复制过去,由DBMS自动保证镜像数据与主数据库的一致性。一旦出现介质故障,可由镜像磁盘继续提供使用,同时DBMS自动利用磁盘数据进行数据库的恢复,不需要关闭系统和重装数据库副本。

在没有出现故障时,数据库镜像还可以用于并发操作,即当一个用户对数据库加排它锁修改数据时,其他用户可以读镜像数据库上的数据,而不必等待该用户释放锁。

由于数据库镜像是通过复制数据实现的,频繁地赋值数据自然会降低系统运行效率。因此在实际应用中用户往往只选择对关键数据和日志文件进行镜像。

 

 

 

小结:

 

  • 如果数据库只包含成功事务提交的结果,就说数据库处于一致性状态。保证数据一致性是对数据库的最基本的要求。
  • 事务是数据库的逻辑工作单位
    1. DBMS保证系统中一切事务的原子性、一致性、隔离性和持续性
  • DBMS必须对事务故障、系统故障和介质故障进行恢复
  • 恢复中最经常使用的技术:数据库转储和登记日志文件
  • 恢复的基本原理:利用存储在后备副本、日志文件和数据库镜像中的冗余数据来重建数据库

常用恢复技术

 

事务故障的恢复

  • UNDO

系统故障的恢复

  • UNDO + REDO

介质故障的恢复

  • 重装备份并恢复到一致性状态 + REDO

 

提高恢复效率的技术

检查点技术

  • 可以提高系统故障的恢复效率  
  • 可以在一定程度上提高利用动态转储备份进行介质故障恢复的效率

镜像技术

  • 镜像技术可以改善介质故障的恢复效率

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/444877.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Lua语言中pairs和ipairs的区别

tbl = {"alpha", "beta", ["one"] = "uno", ["two"] = "dos"} for key, value in ipairs(tbl) do print(key, value) end --pairs() --pairs()函数基本和ipairs()函数用法相同, 区别在于pairs()可以遍历整个table…

算法(22)-leetcode-剑指offer6

leetcode-剑指offer-545.面试题55- 二叉树的深度46.面试题55-2-平衡二叉树47.面试题57-1-和为s的两个数字-双指针48.面试题57-2-和为s 的连续正数序列-双指针49.面试题56-数组中出现数字的次数-位运算leetcode-136 只出现一次的数字Ileetcode-137 只出现一次的数字IIleetcode-2…

leetcode160 相交链表

编写一个程序,找到两个单链表相交的起始节点。 如下面的两个链表: 在节点 c1 开始相交。 示例 1: 输入:intersectVal 8, listA [4,1,8,4,5], listB [5,0,1,8,4,5], skipA 2, skipB 3 输出:Reference of the node…

lua的一些api文档总结吧

打算记录一些我认为重要的常用的api: 1. 建一个新表 void lua_createtable (lua_State *L, int narr, int nrec) 创建一个新的table, 并把它放在栈顶. narr和nrec分别指定该table的array部分和hash部分的预分配元素数量 无返回值 栈高度+1, 栈顶元素是新table #define l…

关于mysql的一些时间格式和字符的问题

最近在做一些游戏的数据分析,需要对大量数据的用户行为进行处理存库,其中有个数据库字段是datetime类型的,这个以前都没用过,我以前都喜欢用int来存放时间戳,但这次这样用,我就得在数据库中转换了&#xff…

算法(17)-leetcode-剑指offer1

leetcode-剑指offer-11.面试题3-数组中的重复数字2.面试题04-二维数组中的查找3.面试题05-替换空格4.面试题06-从尾到头打印链表5.面试题07-重建二叉树6.面试题09-两个堆栈实现队列7.面试题10-1-斐波那契数列8.面试题10-2-青蛙跳台阶问题9.面试题11-旋转数组的最小数字10.面试题…

蚁群算法的一些东西

运行了三个TSP经典用例,基本符合要求。仅仅是一份按照蚁群算法的原理写的代码,没有做任何优化。 // bigSearch.cpp : 定义控制台应用程序的入口点。 // #include<iostream> #include<math.h> #include<time.h> using namespace std; //该程序是以…

leetcode101 对称二叉树

给定一个二叉树&#xff0c;检查它是否是镜像对称的。 例如&#xff0c;二叉树 [1,2,2,3,4,4,3] 是对称的。 1 / \ 2 2 / \ / \ 3 4 4 3 但是下面这个 [1,2,2,null,3,null,3] 则不是镜像对称的: 1 / \ 2 2 \ \ 3 3 说明: 如果你可以运用递归和迭…

Linux内核OOM机制的详细分析

Linux 内核有个机制叫OOM killer&#xff08;Out-Of-Memory killer&#xff09;&#xff0c;该机制会监控那些占用内存过大&#xff0c;尤其是瞬间很快消耗大量内存的进程&#xff0c;为了防止内存耗尽而内核会把该进程杀掉。典型的情况是&#xff1a;某天一台机器突然ssh远程登…

算法(18)-leetcode-剑指offer2

leetcode-剑指offer-211.面试题13-机器人的运动范围-广度优先搜索12.面试题14-1-剪绳子13.面试题14-2-剪绳子214.面试题16-二进制中1的个数-布莱恩克尼根15.面试题16-数值的整数次方-快速幂解析法16.面试题17-打印从1到最大的n位数17.面试题18-删除链表的节点18.面试题19-正则匹…

rabbitmq技术的一些感悟(一)

Rabbitmq 初识rabbitmq RabbitMQ是流行的开源消息队列系统,用erlang语言开发。RabbitMQ是AMQP(高级消息队列协议)的标准实现。如果不熟悉AMQP,直接看RabbitMQ的文档会比较困难。不过它也只有几个关键概念,这里简单介绍 几个概念说明: Broker

leetcode21 合并两个链表

将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例&#xff1a; 输入&#xff1a;1->2->4, 1->3->4 输出&#xff1a;1->1->2->3->4->4 思路&#xff1a;链表归并。 /*** Definition for si…

rabbitmq技术的一些感悟(二)

上一节文章主要是说了一下rabbitmq的安装以及搭建好环境的一些命令,以及常用的api调用,其实自从google被封掉之后,我之前收藏的很多技术连接都已经被禁止访问了,这个是多么可悲的一件事情啊,说多了都是泪。 首先,我先写一段消费者的模块,建立连接,初始化amq以及销毁连接…

算法(19)-leetcode-剑指offer3

leetcode-剑指offer-321.面试题22-链表中的倒数第k个节点22.面试题24-反转链表23.面试题25-合并两个排序链表-递归24.面试题26-树的子结构25.面试题27-二叉树的镜像26.面试题28-对称二叉树27.面试题29-顺时针打印矩阵28.面试题30-包含min函数的栈29.面试题31-栈的押入&#xff…

高效解析xml的总结,闲下来写的

需要这么几个库&#xff0c;直接放在你的代码工程里即可&#xff1a; #include "rapidxml.h" #include "rapidxml_utils.h" int ReBornBossConf::loadConf(const char* szFileName){ rapidxml::file<char> fdoc(szFileName); rapidxml::xml_docum…

leetcode35 插入的位置

给定一个排序数组和一个目标值&#xff0c;在数组中找到目标值&#xff0c;并返回其索引。如果目标值不存在于数组中&#xff0c;返回它将会被按顺序插入的位置。 你可以假设数组中无重复元素。 思路&#xff1a;二分查找 public class Solution {public int searchInsert(i…

算法(20)-leetcode-剑指offer4

leetcode-剑指offer-433.面试题33-二叉搜索树的后序遍历序列34.面试题34-二叉树中和为某一值的路径35.面试题35-复杂链表的复制36.面试题36-二叉搜索树与双向链表37.面试题37-序列化二叉树38.面试题38-字符串的排列39.面试题39-数组中出现次数超过一半的数字40.面试题40-最小的…

关于linux的进程中的各个线程cpu占用情况的分析和查看

我们经常会在新开的服搭建一个游戏的服务器,有时候要进行压力测试,那么如何来看呢,一般我们会通过top命令查看各个进程的cpu和内存占用情况,获得到了我们的进程id,然后我们也许会通过pstack命令查看里边的各个线程id以及对应的线程现在正在做什么事情,分析多组数据就可以…

算法(21)-leetcode-剑指offer5

leetcode-剑指offer-443.面试题43-1&#xff5e;n整数中1出现的次数44.面试题44-数字序列中某一位的数字45.面试题45-把数组排成最小的数-快排变种46.面试题46-把数字翻译成字符串47.面试题47-礼物的最大价值-dp48.面试题48-最长不含重复字符的子字符串-滑动窗口法49.面试题49-…

游戏中DDA算法和Bresenham算法的应用

在角色扮演或即时战略游戏中,经常会将角色以最佳的方式走到指定地点。游戏场景的地面情况复杂,而且场面大,若采用盲目式搜索,例如盲目穷举法,则几乎要遍历整个场景,效率非常低,造成角色反应速度过慢,实践证明是一种不适合网络游戏寻路方法。而启发式搜索算法在障碍较少的情况下…