数据库应用:MySQL备份与恢复

目录

一、理论

1.数据备份

2.完全备份与恢复

3.完全备份与恢复应用

4.增量备份与恢复

5.增量备份与恢复应用

6.使用脚本备份

7.日志管理

二、实验

1.完全备份与恢复

2.增量备份与恢复

3.使用脚本备份

三、问题

1.mysqldump报错

四、总结


一、理论

1.数据备份

(1)重要性

① 备份的主要目的是灾难恢复

② 在生产环境中,数据的安全性至关重要

③ 任何数据的丢失都可能产生严重的后果

④ 造成数据丢失的原因:

     1)程序错误

     2)人为操作错误

     3)运算错误

     4)磁盘故障

     5)灾难(如火灾、地震)和盗窃

(2)分类

从物理与逻辑的角度

   1)物理备份: 对数据库操作系统的物理文件(如数据文件、日志文件等)的备份。

按照备份时数据库的运行状态,可以分为三种:

表1 物理备份方法

分类数据库状态数据库操作
冷备份(脱机备份)停库、停服务不可读不可写,下线
温备份:数据库锁定表格不停库、不停服务,会锁表可读不可写
热备份(联机备份)不停库、不停服务,不会锁表可读可写

     2)逻辑备份:对数据库逻辑组件(如:表等数据库对象)的备份

② 从数据库的备份策略角度

表2 备份策略角度分类

类型功能
完全备份每次对数据库进行完整的备份
差异备份备份自从上次完全备份之后被修改过的文件
增量备份只有在上次完全备份或者增量备份后被修改的文件才会被备份

针对上述三种备份方案,恢复数据方法:

# 1、全量备份的数据恢复
只需找出指定时间点的那一个备份文件即可,即只需要找到一个文件即可# 2、差异备份的数据恢复
需要先恢复第一次备份的结果,然后再恢复最近一次差异备份的结果,即需要找到两个文件# 3、增量备份的数据恢复
需要先恢复第一次备份的结果,然后再依次恢复每次增量备份,直到恢复到当前位置,即需要找到一条备份链综上,对比三种备份方案
1、占用空间:全量 > 差异 > 增量
2、恢复数据过程的复杂程度:增量 > 差异 > 全量

(3)常用备份方法

针对不同的场景下, 应该制定不同的备份策略对数据库进行备份:

表3 备份方法

备份策略针对场景
直接cp,tar复制数据库文件如果数据量较小, 可以使用第一种方式, 直接复制数据库文件
mysqldump+复制BIN LOGS如果数据量还行, 可以使用第二种方式, 先使用mysqldump对数据库进行完全备份, 然后定期备份BINARY LOG达到增量备份的效果
lvm2快照+复制BIN LOGS如果数据量一般, 而又不过分影响业务运行, 可以使用第三种方式, 使用lvm2的快照对数据文件进行备份, 而后定期备份BINARY LOG达到增量备份的效果
xtrabackup+复制BIN LOGS**如果数据量很大, 而又不过分影响业务运行, 可以使用第四种方式, 使用xtrabackup进行完全备份后, 定期使用xtrabackup进行增量备份或差异备份

     ① 物理冷备: (完全备份)
        备份时数据库处于关闭状态,直接打包数据库文件
        备份速度快,恢复时也是最简单的
     ② 专用备份工具mydump或mysqlhotcopy (完全备份,逻辑备份)
        mysqldump常用的逻辑备份工具 (导出为sql脚本)
        mysqlhotcopy仅拥有备份MyISAM和ARCHIVE表
     ③ 启用二进制日志进行增量备份 (增量备份)
       进行增量备份,需要刷新二进制日志
     ④  第三方工具备份
       免费的MySQL热备份软件Percona XtraBackup
    (阿里云的工具:dts,支持热迁移)

(4)mysqldump命令

① 语法

mysqldump  -h 服务器  -u用户名  -p密码  选项与参数 > 备份文件.sql

②选项与参数

1、-A/--all-databases          所有库
2、-B/--databases bbs db1 db2  多个数据库
3、db1                          数据库名
4、db1 t1 t2              db1数据库的表t1、t2
5、-F                           备份的同时刷新binlog
6、-R 备份存储过程和函数数据(如果开发写了函数和存储过程,就备,没写就不备)
7、--triggers 备份触发器数据(现在都是开发写触发器)
8、-E/--events 备份事件调度器
9、-d 仅表结构
10、-t 仅数据
11、--master-data=1  备份文件中 change master语句是没有注释的,默认为1
用于已经制作好了主从,现在想扩展一个从库的时候使用
如此备份,扩展添加从库时导入备份文件后
便不需要再加mater_pos了
change matser to
master_host='10.0.0.111'
master_user='rep'
master_password=123
master_log_pos=120
master_log_file='master-bin.000001'12、--master-data=2  备份文件中 change master语句是被注释的 13、--lock-all-tables 备份过程中所有表从头锁到尾,简单粗暴
在mysqldump导出的整个过程中以read方式锁住数据库中所有表,类似 flush tables with read lock 的全局锁),
这是一个全局读锁,只允许读不允许写,以此保证数据一致性。
比如当前数据库有如下schema:
information_schema(不会导出)
mysql
performance_schema(不会导出)
sys(不会导出)
test
test1
test2
那么我们在使用mysqldump导出时:
mysqldump --lock-all-tables --set-gtid-purged=on -AER > test.sql
指定--lock-all-tables参数,那么从一开始就对整个mysql实例加global read lock锁。
这整个全局读锁会一直持续到导出结束。
所以在这个过程中,数据库实际严格处于read only状态。
所以导出的数据库在数据一致性上是被严格保证的,也就是数据是一致性的。
由于这个参数会将数据库置于read only状态(也相当于不可使用状态),所以默认不加该参数。
这相当于脱机备份的感觉,所以生产数据库的备份策略上,也很少使用该参数。该参数本身默认off,但使用该参数的话,也会自动将 --single-transaction 及 --lock-tables 参数置于 off 状态,他们是互斥的。对于支持事务的表例如InnoDB和BDB,推荐使用--single-transaction选项,因为它根本不需要锁定表14、--single-transaction: 快照备份 (搭配--master-data可以做到热备)
保证各个表具有数据一致性快照。
指定 --single-transaction 参数,那么导出过程中只能保证每个表的数据一致性(利用多版本特性实现,目前只能针对InnoDB事务表)。
比如有一个大表,mysqldump对该表的导出需要1分钟,那么在这1分钟的过程中,该表时可以被正常访问的。
(正常访问包括增删改查,但是alter table等对表结构发生更改的语句要被挂起。)
mysqldump能够保证从开始对该表进行导出,一直到对该表的导出结束,该表的数据都是开始的一致性数据快照状态。
所以该参数明显不能保证各个表之间的数据一致性(特别是外键约束的父表和子表之间)。
但是该参数能够让数据库处于可使用(就是应用感觉数据库可用)状态,相当于联机备份,所以被经常使用。
该参数默认off。15、--lock-tables:如果是备份所有库,那么备份到某个库时只锁某个库,其他库可写,而--lock-all-tables是从始自终都全都锁定保证各个schema具有数据一致性快照。
指定 --lock-tables 参数,那么在导出过程中能够保证各个schema的数据一致性。
比如导出 cms 库(该库有155张表)时:
mysqldump --lock-tables --set-gtid-purged=off -ER -B cms>test.sql
从命令开始,就对 cms 库的155张表加类似 lock table xxx read 的读锁。
这会导致在导出整个cms库的过程中,cms库实际上整体处于read only状态。
但是如果我们指定如下命令:
mysqldump --lock-tables --set-gtid-purged=on -AER >test.sql
来导出全部mysql库,那么当导出cms库的过程中,其他 schema 实际上是可以被正常访问的。
这个正常访问就是可以接受所有合法的sql语句。
所以该参数只能保证各个schema自己的数据一致性快照。
该参数默认on。#==========完整语句 
mysqldump -uroot -pEgon@123 -A -E -R --triggers --master-data=2 --single-transaction > /backup/full.sql#====文件太大时可以压缩 gzip ,但是gzip不属于mysql独有的命令,可以利用管道
mysqldump -uroot -pEgon@123 -A -E -R --triggers --master-data=2 --single-transaction | gzip > /tmp/full$(date +%F).sql.gz#====导出时压缩了,导入时需要解压,可以使用zcat命令,很方便
zcat /backup/full$(date +%F).sql.gz | mysql -uroot -p123

(5)binlog内容定位固定的点

===> 1、grep过滤===> 2、检查事件:依据End_log_pos的提示,来确定某一个事件的起始位置与结束位置
mysql> show binlog events in 'mybinlog.000001'; 
如果事件很多,可以分段查看
mysql> show binlog events in 'mybinlog.000001' limit 0,30; 
mysql> show binlog events in 'mybinlog.000001' limit 30,30; 
mysql> show binlog events in 'mybinlog.000001' limit 60,30; ===> 3、利用mysqlbinlog命令
生产中很多库,只有一个库的表被删除,我不可能把所有的库都导出来筛选,因为那样子binlog内容很多,辨别复杂度高,我们可以利用[root@egon mysql]# mysqlbinlog -d db1 --start-position=123 --stop-position=154 mybinlog.000001 --base64-output=decode-rows -vvv | grep -v 'SET'参数解释:
1)-d 参数接库名
mysqlbinlog -d database --base64-output=decode-rows -vvv mysql-bin.000002
2)--base64-output  显示模式
3)-vvv   显示详细信息

(6)物理备份之Xtrabackup

①简介

Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。

② 特点

   1)备份过程快速、可靠;

   2)备份过程不会打断正在执行的事务;

   3)能够基于压缩等功能节约磁盘空间和流量;

   4)自动实现备份检验;

   5)还原速度快;

使用xtrabackup使用InnoDB能够发挥其最大功效, 并且InnoDB的每一张表必须使用单独的表空间, 我们需要在配置文件中添加 innodb_file_per_table = ON 来开启

安装

版本选择

mysql 5.7以下版本,可以采用percona xtrabackup 2.4版本mysql 8.0以上版本,可以采用percona xtrabackup 8.0版本,xtrabackup8.0也只支持mysql8.0以上的版本比如,接触过一些金融行业,mysql版本还是多采用mysql 5.7,当然oracle官方对于mysql 8.0的开发支持力度日益加大,新功能新特性迭代不止。生产环境采用mysql 8.0的版本比例会日益增加。

(7)存储引擎支持备份情况

备份类型MyISAMInnoDB
热备×
温备
冷备

2.完全备份与恢复

(1)概念

完全备份是对整个数据库、数据库结构和文件结构的备份;

保存的是备份完成时刻的数据库;

是差异备份与增量备份的基础。

(2)优缺点

①优点

备份与恢复操作简单方便。

②缺点

数据存在大量的重复;

占用大量的备份空间;

备份与恢复时间长。

(3)完全备份方法

      1)物理冷备份与恢复

  • 关闭MySQL数据库
  • 使用tar命令直接打包数据库文件夹
  • 直接替换现有MySQL目录即可

     2)mysqldump备份与恢复

  • MySQL自带的备份工具,可方便实现对MySQL的备份
  • 可以将指定的库、表导出为SQL脚本
  • 使用命令mysq|导入备份的数据

3.完全备份与恢复应用

(1)物理冷备份

完全备份

先关闭数据库,之后打包备份

 systemctl stop mysqld         #先关闭服务mkdir /backup/                #创建备份目录​rpm -q xz                     #使用xz工具进行压缩,检查xz工具是否已安装yum install xz -y             #如果没安装,可以先yum安装tar Jcf /backup/mysql_all_$(date +%F).tar.xz /var/lib/mysql  #打包数据库文件。 /usr/local/mysql/data 为编译安装数据库文件存放目录, /var/lib/mysql 为yum安装数据库文件存放目录。​cd /backup/        #切换到备份目录 ls                 #查看目录内容tar tf mysql_all_2023-07-17.tar.xz    #查看tar包内的文件 

完全恢复

将数据库迁移到另一台主机,测试完全恢复。

 #主机A,使用scp命令将tar包传给另一台主机Bscp /backup/mysql_all_2023-07-17.tar.xz 192.168.204.11:/opt​##主机B的操作##systemctl stop mysqld     #关闭mysqlcd /opt/mkdir /opt/bak/var/lib            #创建备份目录                  tar Jxf mysql_all_2023-07-17.tar.xz -C /opt/bak/  #将tar包解压到备份目录cd /opt/bak/              #切换到tar包的解压目录\cp -af mysql/ /var/lib/mysql   #将data目录复制到/var/lib/mysql/目录下,覆盖原有文件​systemctl start mysqld       #启动mysqlmysql -u root -p             #登录数据库查看show databases;use school;show tables;select * from student;

(2)逻辑备份(使用mysqldump工具)

mysqldump完全备份

1)完全备份一个或多个完整的库(包括库中所有的表)

 mysqldump -uroot -p[密码] --databases 库名1 [库名2].. >/备份路径/备份文件名.sql#导出的就是数据库脚本文件​示例:mysqldump -u root -p --databases school > /opt/mysql_bak/school.sql    #完全备份一个库mysqldump -u root -p --databases mysql school > /opt/mysql_bak/mysql-school.sql   #完全备份多个库,school库和mysql库

2)完全备份MySQL服务器中所有的库(包括库中所有的表)

 mysqldump -u root -p[密码] --all-databases > / 备份路径/备份文件名.sql​示例:mysqldump -u root -p --all-databases > /opt/mysql_bak/all.sql   #完全备份所有的库

3)完全备份指定库中的部分表

注意:只备份表,sql语句中只有对表的操作,没有对库的操作。恢复时需要人为确认库存在。

 mysqldump -u root -p[密码] [-d] 库名 表名1 [表名2] ... > /备份路径/备份文件名.sql#使用“-d"选项,说明只保存数据库的表结构#不使用“-d”选项,说明表数据也进行备份

示例:

 mysqldump -u root -p school student > /opt/mysql_bak/school_student.sql#完全备份school库中的student表

4)查看备份文件

备份文件中保存的是sql语句。即以sql语句的形式,把库、表结构、表数据保存下来。

 cd /opt/mysql_bakcat school.sql | grep -v "^--" |grep -v "^/" |grep -v "^$" 

 mysqldump完全恢复

先启动mysql

 systemctl start mysqld

1)恢复数据库

先删除数据库,之后进行恢复。

 ##删除数据库zzq好帅##mysql -u root -p -e 'drop database school;'#"-e"选项,用于指定连接MySQL后执行的命令,命令执行完后自动退出​mysql -u root -p -e 'SHOW DATABASES;'         #查看当前有哪些数据库​##恢复数据库zzq好帅##mysql -u root -p < /opt/mysql_bak/school.sql     #重定向输入库文件​mysql -u root -p -e 'SHOW DATABASES;'       #查看当前有哪些数据库

2)恢复数据表

当备份文件中只包含表的备份,而不包含创建的库的语句时,执行导入操作时必须指定库名,且目标库必须存在。

 ##备份school库中的student表##mysqldump -uroot -p school student > /opt/mysql_bak/school_student.sql​##删除school库中的student表##mysql -u root -p -e 'drop table school.student;'​mysql -u root -p -e 'show tables from school;'     #查看school库中的表,已无student表​##恢复school库中的school表##mysql -u root -p school < /opt/mysql_bak/school_student.sql   #重定向导入备份文件,必须指定库名,且目标库必须存在​mysql -u root -p -e 'show tables from school;'

4.增量备份与恢复

(1)概念

是自上一次备份后增加/变化的文件或者内容。

(2)特点

没有重复数据,备份量不大,时间短;

恢复需要上次完全备份及完全备份之后所有的增量备份才 能恢复,而且要对所有增量备份进行逐个反推恢复。

(3)增量备份方法

MySQL没有提供直接的增量备份方法

可通过MySQL提供的二进制日志间接实现增量备份

MySQL二进制日志对备份的意义:

    1)二进制日志保存了所有更新或者可能更新数据库的操作

    2)二进制日志在启动MySQL服务器后开始记录,并在文件达到 max_binlog_size所设置的大小或者接收到flush logs命令后重新 创建新的日志文件

    3)只需定时执行flush logs方法重新创建新的日志,生成二进制文 件序列,并及时把这些日志保存到安全的地方就完成了一个时间 段的增量备份
 

(4)增量恢复方法

① 一般恢复

将所有备份的二进制日志内容全部恢复

基于位置恢复

数据库在某一时间点可能既有错误的操作也有正确的操作;

可以基于精准的位置跳过错误的操作。

基于时间点恢复

跳过某个发生错误的时间点实现数据恢复。

5.增量备份与恢复应用

(1)增量备份

开启二进制日志功能

 vim /etc/my.cnf[mysqld]log-bin=mysql-bin    #开启二进制日志。如果使用相对路径,则保存在/var/lib/mysql目录下binlog_format = MIXED     #可选,指定二进制日志(binlog)的记录格式为MIXEDserver-id = 1​systemctl restart mysqldls -l /usr/bin/mysql*​​-------------- 以下是注释 -----------------#二进制日志(binlog)有3种不同的记录格式: STATEMENT (基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT​STATEMENT (基于SQL语句):记录修改的sql语句。高并发的情况下,记录操作的sql语句时可能顺序会有错误,导致恢复数据时,数据丢失或有误差。效率高,但数据可能有误差。​ROW(基于行):记录每一行数据,准确,但恢复时效率低。​MIXED(混合模式):正常情况下使用STATEMENT,高并发的情况下会智能地切换到ROW。​

可每周对数据库或表进行完全备份

 mysqldump -u root -p school student > /bak/school_student_$(date +%F).sqlmysqldump -u root -p --databases school > /bak/school_$(date +%F).sql

可每天进行增量备份操作,生成新的二进制日志文件(例如mysql-bin.000002)

 mysqladmin -u root -p flush-logs

插入新数据,以模拟数据的增加或变更

 use school;
INSERT INTO student VALUES(6, 'zhouliu',16, 666666, 'super member');

再次生成新的二进制日志文件(例如mysql -bin.000003)

 mysqladmin -u root -p flush-logs​#之前的步骤4的数据库操作会保存到mysql-bin.000002文件中,之后数据库数据再发生变化则保存在mysql-bin.00003文件中

查看二进制日志文件的内容

 cp /var/lib/mysql/mysql-bin.000002 /bak/mysqlbinlog --no-defaults --base64-output=decode-rows -v /bak/mysql-bin.000002​#--base64-output=decode-rows:使用64位编码机制去解码并按行读取#-v:显示详细内容

(2)增量恢复

一般恢复

将所有备份的二进制日志内容全部恢复。

1)模拟丢失更改的数据的恢复步骤

 use school;delete from student where name='zhouliu';   #删除今天新增加的数据
​#增量恢复(今天新增加的数据记录保存在mysql-bin.000002日志中)mysqlbinlog --no-defaults /bak/mysql-bin.000002 | mysql -u root -p​mysql -u root -p -e 'select * from school.student;'   #查看表中数据

2)模拟丢失表中所有数据的恢复步骤

 mysql -u root -p -e 'drop table school.student;'   #删除整个zzq帅表mysql -u root -p -e 'show tables from school;'   #查看zzq好帅库中的表​#先完全恢复历史数据mysql -u root -p school < /bak/school_student_2023-07-17.sql  #再进行增量恢复今天新增的数据(mysql-bin.000002日志中保存了今天新增加的数据记录)mysqlbinlog --no-defaults /bak/mysql-bin.000002 | mysql -u root -p​mysql -u root -p -e 'select * from school.student;'   #查看表中数据

断点恢复

向zzq帅表中插入3条数据,之后刷新二进制日志,移动前一个日志:

 use yuji;INSERT INTO student VALUES(7, 'guoqi',17,777777,'fuzhou', 'gold member');INSERT INTO student VALUES(8, 'xueba',18,888888,'shenyang', 'silver member');INSERT INTO student VALUES(9, 'hujiu',19,999999,'changchun', 'super member');​mysqladmin -u root -p flush-logs        #刷新日志,生成新的二进制日志cp /usr/local/mysql/data/mysql-bin.000003 /bak/   #将前一个日志复制到/bak/目录下​mysqlbinlog --no-defaults --base64-output=decode-rows -v /bak/mysql-bin.000003 > /bak/binlog.txt  #将二进制文件内容重定向到binlog.txt文件中

1)基于位置的断点恢复

 mysqlbinlog --no-defaults --start-position='位置点' 文件名 | mysql -u root -p#从某一个位置点开始恢复,一直到日志结尾​mysqlbinlog --no-defaults --stop-position='位置点' 文件名 | mysql -u root -p#从日志开头,一直恢复到某一个位置点前结束​mysqlbinlog --no-defaults --start-position='xxx'--stop-position='位置点' 文件名 | mysql -u root -p#从某一个位置点开始恢复,一直到某一个位置点前结束

示例1:

只想恢复"xueba"和"hujiu"(即恢复最后两行,第8~9行)

 use school;delete from student where id between 7 and 9; #删除id为7到9的数据记录​cat /bak/binlog.txt    #查看二进制文件内容,找到'xueba'的位置点​#从'xueba'的位置点3496一直恢复到结尾mysqlbinlog --no-defaults --start-position='3496' /bak/mysql-bin.000003 | mysql -u root -p​mysql -u root -p -e 'select * from school.student;' #查看表数据

示例2:

只想恢复"王政"(即只恢复第5行)

 use school;delete from student where id between 7 and 9; #删除id为7到9的数据记录​cat /bak/binlog.txt    #查看二进制文件内容,找到'guoqi'后面的位置点​#从头开始恢复,在"guoqi"的SQL语句后面截止 mysqlbinlog --no-defaults --stop-position='3496' /bak/mysql-bin.000003 | mysql -u root -p​mysql -u root -p -e 'select * from school.student;' #查看表数据

示例3:只想恢复"李嘉欣"(即只恢复第6行)

 use school;delete from student where id between 7 and 9; #删除id为7到9的数据记录​cat /bak/binlog.txt    #查看二进制文件内容,找到"xueba"的位置点​#从“xueba”前面的位置点开始恢复,一直到"xueba"后面的位置点mysqlbinlog --no-defaults --start-position='3496' --stop-position='3827' /bak/mysql-bin.000003 | mysql -u root -p​mysql -u root -p -e 'select * from school.student;'   #查看表数据

2)基于时间点的断点恢复

注意:日期必须是"yyyy-mm-dd"的格式。

 use school;delete from student where id between 7 and 9; #删除id为7到9的数据记录​cat /bak/binlog.txt    #查看二进制文件内容,找到"xueba"的位置点​#从“xueba”前面的位置点开始恢复,一直到"xueba"后面的位置点mysqlbinlog --no-defaults --start-position='3496' --stop-position='3827' /bak/mysql-bin.000003 | mysql -u root -p​mysql -u root -p -e 'select * from school.student;'   #查看表数据

示例:

只想恢复"xueba(即只恢复第8行)

 use school;delete from student where id between 7 and 9; #删除id为7到9的数据记录​cat /bak/binlog.txt    #查看二进制文件内容,找到"李嘉欣"的时间点​#从“李嘉欣”前面的时间点开始恢复,一直到"李嘉欣"后面的时间点mysqlbinlog --no-defaults --start-datetime='2023-07-17 19:16:21' --stop-datetime='2023-07-17 19:17:01' /bak/mysql-bin.000003 | mysql -u root -p​mysql -u root -p -e 'select * from  school.student;'   #查看表数据

6.使用脚本备份

(1)方法

使用脚本每周三进行一次完全备份,之后每天进行增量备份。

如果数据量很大,可以一周做2次完全备份,比如星期一和星期四各一次。

增量备份减少磁盘空间的占用,但恢复起来比较麻烦。需要一个一个恢复。

一般使用crontab在凌晨进行备份。

(2)获取最新的二进制文件名称

查看索引文件,可获取最新的二进制文件。

 tail -1 /var/lib/mysql/mysql-bin.index或者sed -n '$p' /var/lib/mysql/mysql-bin.index

(3)完全备份脚本(每周三完全备份一次)

 vim /opt/mysqlquan.sh      #编写脚本#!/bin/bashmysqldump -u root -p123456 --all-databases > /bak/all_$(date +%F).sql​chmod 700 /opt/mysqlquan.sh    crontab -e                        #定时任务执行脚本0 1 * * 3  /opt/mysqlquan.sh     #每周三凌晨1点备份一次

(4)增量备份脚本(每天凌晨3点备份一次)

 vim /opt/binlog.sh#!/bin/bash#使用sed命令打印二进制日志文件最后一行内容作为filename变量的值filename=$(sed -n '$p' /var/lib/mysql/mysql-bin.index | awk -F '/' '{print $2}')#将二进制日志移动到备份目录下,并将移动后的文件名称加上日期mv /var/lib/mysql/data/$filename  /bak/binlog_$(date +%F)#生成新的二进制日志文件mysqladmin -uroot -p123456 flush-logs​chmod 700 /opt/binlog.shcrontab -e 0 1 * * 3   /opt/mysqlquan.sh    #完全备份,每周三凌晨1点备份一次  0 3 * * *   /opt/binlog.sh       #增量备份,每天凌晨3点备份一次

7.日志管理

(1)MySQL常用日志类型及开启

① 错误日志

指定日志的保存位置和文件名
log-error=/usr/local/mysql/data/mysql_error.log					#用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启

通用查询日志

general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log#用来记录MySQL的所有连接和语句,默认是关闭的

二进制日志(binlog)

log-bin=mysql-bin				
或
log_bin=mysql-bin#用来记录所有当MySQL启动、停止或运行时发送的错误信息,默认是关闭的

慢查询日志

slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5	   		systemctl restart mysqld    #用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的

(2)查看日志状态

查看通用查询日志是否开启

mysql -u root -p
show variables like 'general%';		

查看二进制日志是否开启

show variables like 'log_bin%';

查看慢查询日功能是否开启

show variables like '%slow%';	

查看慢查询时间设置

show variables like 'long_query_time';

在数据库中设置开启慢查询的方法

set global slow_query_log=ON;
该方法重启服务失效

二、实验

1.完全备份与恢复

(1)物理冷备份

完全备份

查看数据库

查看表

先关闭数据库,之后打包备份

完全恢复

将数据库迁移到另一台主机,测试完全恢复。

 切换到另一台主机B:

 

登录数据库查看

查看数据表

 

 查看表内容

(2)逻辑备份(使用mysqldump工具)

mysqldump完全备份

1)完全备份一个或多个完整的库(包括库中所有的表)

2)完全备份MySQL服务器中所有的库(包括库中所有的表)

3)完全备份指定库中的部分表

注意:只备份表,sql语句中只有对表的操作,没有对库的操作。恢复时需要人为确认库存在。

示例:

 

4)查看备份文件

备份文件中保存的是sql语句。即以sql语句的形式,把库、表结构、表数据保存下来。

 mysqldump完全恢复

先启动mysql

1)恢复数据库

先删除数据库,之后进行恢复。

 查看数据库(school已删除)

 重定向导入库文件并查看(school已恢复)

2)恢复数据表

当备份文件中只包含表的备份,而不包含创建的库的语句时,执行导入操作时必须指定库名,且目标库必须存在。

 重启

2.增量备份与恢复

(1)增量备份

① 开启二进制日志功能

可每周对数据库或表进行完全备份

可每天进行增量备份操作,生成新的二进制日志文件(例如mysql-bin.000002)

 插入新数据,以模拟数据的增加或变更

再次生成新的二进制日志文件(例如mysql -bin.000003)

 之前的步骤4的数据库操作会保存到mysql-bin.000002文件中,之后数据库数据再发生变化则保存在mysql-bin.00003文件中

查看二进制日志文件的内容

(2)增量恢复

一般恢复

将所有备份的二进制日志内容全部恢复。

1)模拟丢失更改的数据的恢复步骤

 删除新增数据‘zhouliu’

 增量恢复,被删除的数据已恢复

2)模拟丢失表中所有数据的恢复步骤

删除student表

 完全恢复历史数据

 再进行增量恢复今天新增的数据(mysql-bin.000002日志中保存了今天新增加的数据记录)

 表中数据已恢复

断点恢复

向student表中插入3条数据,之后刷新二进制日志,移动前一个日志:

 刷新日志生成新的二进制日志,将前一个日志复制到/bak/目录下

 将二进制文件内容重定向到binlog.txt文件中

 

1)基于位置的断点恢复

示例1:

只想恢复"xueba"和"hujiu"(即恢复最后两行,第8~9行)

 删除id为7到9的数据记录

查看二进制文件内容,找到'xueba'的位置点

 从'xueba'的位置点3496一直恢复到结尾,查看表数据

示例2:

只想恢复"guoqi"(即只恢复第7行)

 从头开始恢复,在"guoqi"的SQL语句后面截止 ,查看表数据

示例3:只想恢复"xueba"(即只恢复第8行)

 

2)基于时间点的断点恢复

注意:日期必须是"yyyy-mm-dd"的格式。

示例:

恢复"hujiu"(恢复第9行)

 

3.使用脚本备份

(1)完全备份脚本

 vim /opt/mysqlquan.sh      #编写脚本#!/bin/bashmysqldump -u root -p123456 --all-databases > /bak/all_$(date +%F).sql​chmod 700 /opt/mysqlquan.sh    crontab -e                        #定时任务执行脚本0 1 * * 3  /opt/mysqlquan.sh     #每周三凌晨1点备份一次

(2)增量备份脚本

 vim /opt/binlog.sh#!/bin/bash#使用sed命令打印二进制日志文件最后一行内容作为filename变量的值filename=$(sed -n '$p' /var/lib/mysql/mysql-bin.index | awk -F '/' '{print $2}')#将二进制日志移动到备份目录下,并将移动后的文件名称加上日期mv /var/lib/mysql/$filename  /bak/binlog_$(date +%F)#生成新的二进制日志文件mysqladmin -uroot -p123456 flush-logs​chmod 700 /opt/binlog.shcrontab -e 0 1 * * 3   /opt/mysqlquan.sh    #完全备份,每周三凌晨1点备份一次  0 3 * * *   /opt/binlog.sh       #增量备份,每天凌晨3点备份一次

 

 

三、问题

1.mysqldump报错

(1)故障描述

在对MySQL数据库备份时,执行mysqldump命令,报错如下:mysqldump: Got error: 2002: Can’t connect to local MySQL server through sock

 (2)原因分析

上述报错已指明是因为mysql的socket接口连接不对/socket文件读取异常,导致socket无法连接所致。

1)确认当前MySQL的socket:

2)当没有服务运行时,启动mysqld服务

3)当有服务运行时,用正确的socket文件连接mysql,再次执行mysqdump命令:

mysqldump -u root -p --databases school socket=/var/lib/mysql/mysql.sock > /opt/mysql_bak/school.sql

四、总结

数据库备份可以分为物理备份和逻辑备份。物理备份又可以成为冷备份(脱机备份)、热备份(连接备份)和温备份。

从数据库的备份策略角度来看,备份又可分为完全备份、差异备份和增量备份。

全量备份的数据恢复:只需找出指定时间点的那一个备份文件即可,即只需要找到一个文件即可;
差异备份的数据恢复:需要先恢复第一次备份的结果,然后再恢复最近一次差异备份的结果,即需要找到两个文件;
增量备份的数据恢复:需要先恢复第一次备份的结果,然后再依次恢复每次增量备份,直到恢复到当前位置,即需要找到一条备份链;
综上,对比三种备份方案:
占用空间:全量 > 差异 > 增量
恢复数据过程的复杂程度:增量 > 差异 > 全量
 


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/3608.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

企业电子招标采购系统源码Spring Cloud + Spring Boot + MybatisPlus + 前后端分离 + 二次开发

项目说明 随着公司的快速发展&#xff0c;企业人员和经营规模不断壮大&#xff0c;公司对内部招采管理的提升提出了更高的要求。在企业里建立一个公平、公开、公正的采购环境&#xff0c;最大限度控制采购成本至关重要。符合国家电子招投标法律法规及相关规范&#xff0c;以及审…

(ceph)CephFS 文件系统 MDS接口

创建 CephFS 文件系统 MDS 接口 //服务端操作 1&#xff09;在管理节点创建 mds 服务 cd /etc/ceph ceph-deploy mds create node01 node02 node032&#xff09;查看各个节点的 mds 服务 ssh rootnode01 systemctl status ceph-mdsnode01 ssh rootnode02 systemctl status cep…

浙大数据结构第三周之03-树3 Tree Traversals Again

题目详情&#xff1a; An inorder binary tree traversal can be implemented in a non-recursive way with a stack. For example, suppose that when a 6-node binary tree (with the keys numbered from 1 to 6) is traversed, the stack operations are: push(1); push(2)…

怎么对XMind思维导图加密?

在现代社会中&#xff0c;信息安全变得越来越重要。对于那些使用XMind思维导图来组织和管理重要信息的人来说&#xff0c;保护思维导图中的内容免受未经授权的访问变得至关重要。本文将介绍如何加密XMind思维导图&#xff0c;以确保您的信息安全。 什么是XMind思维导图&#x…

什么是从人类反馈中强化学习(RLHF)?

目录 一、什么是RLHF? 二、语言作为强化学习问题 三、用于语言模型的RLHF 四、ChatGPT如何使用RLHF 五、RLHF对语言模型的限制 自从OpenAI公司发布ChatGPT以来&#xff0c;人们对大型语言模型(LLM)的这一重大进步感到兴奋。虽然ChatGPT与其他最先进的大型语言模型大小相同…

数据可视化——根据提供的数据,将数据经过处理后以折线图的形式展现

文章目录 前言处理数据获取数据筛选数据将JSON数据转换为Python数据筛选出横坐标数据和纵坐标数据 根据处理后的数据绘制折线图整体代码展示 前言 前面我们学习了如何使用 pyecharts 模块绘制简单的折线图&#xff0c;那么今天我将为大家分享&#xff0c;如何根据提供的数据将…

【JavaScript 03】语句 变量 变量提升 标识符 注释 区块 作用域 条件语句 循环语句 break continue 标签

JS 语句变量变量提升标识符注释区块条件语句ifif...elseswitch三元运算符 ?: 循环语句whilefordo...whilebreak语句 and continue语句标签 语句 JS程序的执行单位是行&#xff08;line&#xff09; **语句&#xff08;statement&#xff09;**是为了完成特定任务而进行的操作…

STM32(HAL库)驱动SHT30温湿度传感器通过串口进行打印

目录 1、简介 2、CubeMX初始化配置 2.1 基础配置 2.1.1 SYS配置 2.1.2 RCC配置 2.2 软件IIC引脚配置 2.3 串口外设配置 2.4 项目生成 3、KEIL端程序整合 3.1 串口重映射 3.2 SHT30驱动添加 3.3 主函数代 3.4 效果展示 1、简介 本文通过STM32F103C8T6单片机通过HAL库…

【25】SCI易中期刊推荐——神经网络科学(中科院4区)

💖💖>>>加勒比海带,QQ2479200884<<<💖💖 🍀🍀>>>【YOLO魔法搭配&论文投稿咨询】<<<🍀🍀 ✨✨>>>学习交流 | 温澜潮生 | 合作共赢 | 共同进步<<<✨✨ 📚📚>>>人工智能 | 计算机视觉…

Docker 基本管理与应用

目录 一、Docker介绍 1、docker概述 2、容器优势 3、Docker与虚拟机的区别 4、Docker核心概念 二&#xff1a; 安装 Docker 1、环境准备、安装依赖包 2、 设置阿里云镜像源&#xff0c;安装 Docker-CE并设置为开机自动启动 3、信息查看 ​三&#xff1a;Docker 镜像操作…

【数据结构常见七大排序(三)上】—交换排序篇【冒泡排序】And【快速排序】

目录 前言 1.冒泡排序 1.1冒泡排序动图 1.2冒泡排序源代码 1.3冒泡排序的特性总结 2.快速排序&#x1f451; 2.1hoare版本实现思想 排序前 排序中 排序后 2.2hoare版本快排源代码 2.3分析先走 情况1&#x1f947; 情况2&#x1f948; 前言 交换类排序两个常见的排…

包的使用及其创建

文章目录 前言类名冲突完整的类路径创建包导入类包总结 前言 java语言中&#xff0c;包在整个管理过程中发挥了重要的作用。使用包&#xff0c;可以有效地管理繁多的类文件&#xff0c;解决了类名重复的问题。在类中应用包和权限修饰符&#xff0c;可以控制他人对类成员的方法的…

【Jenkins】Jenkins构建前端流水线

目录 一、前言二、新建前端流水线1、点击新建任务2、填写流水线名称&#xff08;这里我选择的是自由风格的软件项目&#xff09;&#xff0c;任务名称一般格式为&#xff1a;项目名称-前后端3、创建成功后的结果 三、配置前端流水线1、进入刚创建好的任务页面中&#xff0c;点击…

Grafana_数据可视化工具

目录 一、简介 二、安装部署 1、下载 2、安装 3、启用 三、使用简介 1、添加数据源 2、创建DashBoard 3、查看dashboard 4、选择查看的时间段 5、阈值颜色控制 源码等资料获取方法 一、简介 Grafana是一个跨平台开源的纯html/js编写的度量分析和可视化工具&#x…

Meta提出全新参数高效微调方案,仅需一个RNN,Transformer模型GPU使用量减少84%!

近来&#xff0c;随着ChatGPT和GPT-4模型的不断发展&#xff0c;国内外互联网大厂纷纷推出了自家的大语言模型&#xff0c;例如谷歌的PaLM系列&#xff0c;MetaAI的LLaMA系列&#xff0c;还有国内公司和高校推出的一些大模型&#xff0c;例如百度的文心一言&#xff0c;清华的C…

Linux——认识Linux的目录结构 常用命令 vim命令 权限及其控制

目录 linux的目录结构常用linux的命令ls(list)和llcd 切换目录mkdir 创建文件夹touch命令&#xff1a;创建普通文本文件pwd 显示路径whoamisu&#xff1a;普通--超级账号man&#xff1a;查看手册rm&#xff1a;删除网络命令ifconfig重定向 >>cat 查看文本文件clear清屏hi…

kubernetes中特定域名使用自定义DNS服务器出现的解析异常

故障发生背景&#xff1a; 租户反馈生产业务服务连接到中间件的时候&#xff0c;偶尔会有连接失败的情况&#xff0c;然后我们查看对应组件服务正常&#xff0c;手动请求组件服务也显示正常&#xff0c;让租户查看业务服务日志发现报错无法解析对应的域名&#xff0c;我们手动是…

MySQL高阶语句

文章目录 一.常用查询1.按关键字排序&#xff08;ORDER BY 语句&#xff09;1.1 语法格式1.2 ASC和DESC的排序概念1.3 举例1.3.1 数据库有一张info表&#xff0c;记录了学生的id&#xff0c;姓名&#xff0c;分数&#xff0c;地址和爱好1.3.2 按分数排序&#xff0c;默认不指定…

springmvc @RequestMapping注解中produces以及consumes属性的含义(转载请删除括号里的内容)

http协议基础知识 首先需要了解什么叫MediaType&#xff08;媒体类型&#xff09;&#xff1f; 通俗来说&#xff0c;在http协议中&#xff0c;用来表示传输内容的格式就是MediaType&#xff0c;比如text/html&#xff0c;application/json等&#xff0c;其中text代表介质&am…

Python调用ImageMagick生成PDF文件缩略图

使用Python调用ImageMagick生成PDF文件缩略图 Imagemagick使用Ghostscript作为其依赖项之一&#xff0c;以便能够处理和转换PDF相关的图像。 准备 安装Ghostscript&#xff0c;网站安装ImageMagick&#xff0c;网站 安装完毕后&#xff0c;需要自行配置环境路径 脚本 使用示…