MySQL定时备份（全量备份+增量备份）

MySQL 定时备份

参考 zone7_ 的 实战-MySQL定时备份系列文章

参考 zmcyu 的 mysql数据库的完整备份、差异备份、增量备份

更多binlog的学习参考马丁传奇的 MySQL的binlog日志，这篇文章写得认真详细，如果看的认真的话，肯定能学的很好的。
如果查看binlog是出现语句加密的情况，参考 mysql row日志格式下 查看binlog sql语句

说明

产品上线后，数据非常非常重要，万一哪天数据被误删，那么就gg了，准备跑路吧。
所以要对线上的数据库定时做全量备份和增量备份。

增量备份的优点是没有重复数据，备份量不大，时间短。但缺点也很明显，需要建立在上次完全备份及完全备份之后所有的增量才能恢复。

MySQL没有提供直接的增量备份方法，但是可以通过mysql二进制日志间接实现增量备份。二进制日志对备份的意义如下：

  • 二进制日志保存了所有更新或者可能更新数据的操作
  • 二进制日志在启动MySQL服务器后开始记录，并在文件达到所设大小或者收到flush logs 命令后重新创建新的日志文件
  • 只需定时执行flush logs 方法重新创建新的日志，生成二进制文件序列，并及时把这些文件保存到一个安全的地方，即完成了一个时间段的增量备份。

全量备份

mysqldump --lock-all-tables --flush-logs --master-data=2 -u root -p test > backup_sunday_1_PM.sql
  • 参数 --lock-all-tables

对于InnoDB将替换为 --single-transaction。
该选项在导出数据之前提交一个 BEGIN SQL语句，BEGIN 不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于事务表，例如 InnoDB 和 BDB。本选项和 --lock-tables 选项是互斥的，因为 LOCK TABLES 会使任何挂起的事务隐含提交。要想导出大表的话，应结合使用 --quick 选项。

  • 参数 --flush-logs，结束当前日志，生成并使用新日志文件

  • 参数 --master-data=2，该选项将会在输出SQL中记录下完全备份后新日志文件的名称，用于日后恢复时参考，例如输出的备份SQL文件中含有：CHANGE MASTER TO MASTER_LOG_FILE='MySQL-bin.000002', MASTER_LOG_POS=106;

  • 参数 test，该处的test表示数据库test，如果想要将所有的数据库备份，可以换成参数 --all-databases

  • 参数 --databases 指定多个数据库

  • 参数 --quick或-q，该选项在导出大表时很有用，它强制 MySQLdump 从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中。

  • 参数 --ignore-table，忽略某个数据表，如 --ignore-table test.user 忽略数据库test里的user表

  • 更多mysqldump 参数，请参考网址

全量备份脚本shell

#!/bin/bash
# mysql 数据库全量备份# 用户名、密码、数据库名
username="root"
password="tencns152"
dbName="goodthing"beginTime=`date +"%Y年%m月%d日 %H:%M:%S"`
# 备份目录
bakDir=/home/mysql/backup
# 日志文件
logFile=/home/mysql/backup/bak.log
# 备份文件
nowDate=`date +%Y%m%d`
dumpFile="${dbName}_${nowDate}.sql"
gzDumpFile="${dbName}_${nowDate}.sql.tgz"cd $bakDir
# 全量备份（对所有数据库备份，除了数据库goodthing里的village表）
/usr/local/mysql/bin/mysqldump -u${username} -p${password} --quick --events --databases ${dbName} --ignore-table=goodthing.village --ignore-table=goodthing.area --flush-logs --delete-master-logs --single-transaction > $dumpFile
# 打包
/bin/tar -zvcf $gzDumpFile $dumpFile
/bin/rm $dumpFileendTime=`date +"%Y年%m月%d日 %H:%M:%S"`
echo 开始:$beginTime 结束:$endTime $gzDumpFile succ >> $logFile# 删除所有增量备份
cd $bakDir/daily
/bin/rm -f *

这里全量备份只备份了一个数据库，因为如果所有数据库都备份的话，文件太大了。这里的取舍我也不是很清楚，毕竟自己还在学习阶段，没有实际的操作经验。

增量备份

1. 检查log_bin是否开启

进入mysql命令行，执行 show variables like '%log_bin%'

mysql> show variables like '%log_bin%';
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| log_bin                         | OFF   |
| log_bin_basename                |       |
| log_bin_index                   |       |
| log_bin_trust_function_creators | OFF   |
| log_bin_use_v1_row_events       | OFF   |
| sql_log_bin                     | ON    |
+---------------------------------+-------+
6 rows in set (0.01 sec)

如上所示，log_bin 未开启；如果log_bin开启，则跳过第2步，直接进入第3步。

2. 开启 log_bin，并重启mysql

  • 编辑 mysql 的配置文件 vim /etc/my.cnf，在 mysqld 下面添加下面2条配置
[mysqld]
log-bin=/var/lib/mysql/mysql-bin
server_id=152

Tip1: 一定要加 server_id，否则会报错。至于server_id的值，随便设就可以。
Tip2: log_bin 中间可以下划线_相连，也可以-减号相连。同理server_id也一样。

  • 重启mysql
service mysqld restart
  • 再次在mysql命令行中执行 show variables like '%log_bin%'
mysql> show variables like '%log_bin%';
+---------------------------------+--------------------------------+
| Variable_name                   | Value                          |
+---------------------------------+--------------------------------+
| log_bin                         | ON                             |
| log_bin_basename                | /var/lib/mysql/mysql-bin       |
| log_bin_index                   | /var/lib/mysql/mysql-bin.index |
| log_bin_trust_function_creators | OFF                            |
| log_bin_use_v1_row_events       | OFF                            |
| sql_log_bin                     | ON                             |
+---------------------------------+--------------------------------+
6 rows in set (0.01 sec)

3. 备份

  • 进入mysql命令行，执行 show master status;
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |      430 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

当前正在记录日志的文件名是 mysql-bin.000003

  • 比如当前数据库test的bk_user只有2条记录
mysql> select * from test.bk_user;
+----+------+------+------+
| id | name | sex  | age  |
+----+------+------+------+
|  1 | 小明 | 男   |   25 |
|  2 | 小红 | 女   |   21 |
+----+------+------+------+
2 rows in set (0.00 sec)
  • 插入一条新的记录
mysql> insert into test.bk_user(name, sex, age) values('小强', '男', 24);
Query OK, 1 row affected (0.02 sec)
mysql> select * from test.bk_user;
+----+------+-----+-----+
| id | name | sex | age |
+----+------+-----+-----+
|  1 | 小明 | 男  |  25 |
|  2 | 小红 | 女  |  21 |
|  5 | 小强 | 男  |  24 |
+----+------+-----+-----+
3 rows in set (0.03 sec)
  • 执行命令mysqladmin -uroot -p密码 flush-logs，生成并使用新的日志文件

再次查看当前使用的日志文件，已经变为 mysql-bin.000004 了。
mysql-bin.000003 则记录着刚才执行的 insert 语句的日志。

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000004 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

到这里，其实已经完成了增量备份了。

恢复增量备份

  • 首先假装误删数据库记录
mysql> delete from test.bk_user where id=4;
Query OK, 1 row affected (0.01 sec)mysql> select * from test.bk_user;
+----+------+------+------+
| id | name | sex  | age  |
+----+------+------+------+
|  1 | 小明 | 男   |   25 |
|  2 | 小红 | 女   |   21 |
+----+------+------+------+
2 rows in set (0.00 sec)
  • 从备份的日志文件mysql-bin.000003中恢复数据
[root@centos56 ~]# mysqlbinlog --no-defaults /var/lib/mysql/mysql-bin.000003 | mysql -uroot -p test
Enter password: 
ERROR 1032 (HY000) at line 36: Can't find record in 'bk_user'

如果你也遇到这个问题的话，不妨修改 /etc/my.cnf 配置试试。
我在server_id那一行下添加了 slave_skip_errors=1032 ，然后就执行成功了，不再报错。

mysql> select * from test.bk_user;
+----+------+------+------+
| id | name | sex  | age  |
+----+------+------+------+
|  1 | 小明 | 男   |   25 |
|  2 | 小红 | 女   |   21 |
|  5 | 小强 | 男   |   24 |
+----+------+------+------+
3 rows in set (0.00 sec)

增量备份的shell脚本

#!/bin/bash# 增量备份时复制mysql-bin.00000*的目标目录，提前手动创建这个目录
BakDir=/home/mysql/backup/daily
# 日志文件
LogFile=/home/mysql/backup/bak.log# mysql的数据目录
BinDir=/var/lib/mysql-bin
# mysql的index文件路径，放在数据目录下的
BinFile=/var/lib/mysql-bin/mysql-bin.index# 这个是用于产生新的mysql-bin.00000*文件
/usr/local/mysql/bin/mysqladmin -uroot -ptencns152 flush-logsCounter=`wc -l $BinFile | awk '{print $1}'`
NextNum=0
# 这个for循环用于比对$Counter,$NextNum这两个值来确定文件是不是存在或最新的
for file in `cat $BinFile`
dobase=`basename $file`NextNum=`expr $NextNum + 1`if [ $NextNum -eq $Counter ]thenecho $base skip! >> $LogFileelsedest=$BakDir/$base#test -e用于检测目标文件是否存在，存在就写exist!到$LogFile去if(test -e $dest)thenecho $base exist! >> $LogFileelsecp $BinDir/$base $BakDirecho $base copying >> $LogFilefifi
doneecho `date +"%Y年%m月%d日 %H:%M:%S"` $Next Bakup succ! >> $LogFile

定时备份

执行命令 crontab -e，添加如下配置

# 每个星期日凌晨3:00执行完全备份脚本
0 3 * * 0 /bin/bash -x /root/bash/Mysql-FullyBak.sh >/dev/null 2>&1# 周一到周六凌晨3:00做增量备份
0 3 * * 1-6 /bin/bash -x /root/bash/Mysql-DailyBak.sh >/dev/null 2>&1

遇到的问题

  • Can't connect to local MySQL server through socket '/tmp/mysql.sock'
mysqladmin: connect to server at 'localhost' failed
error: 'Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)'
Check that mysqld is running and that the socket: '/tmp/mysql.sock' exists

去修改mysql的配置文件，添加

[mysqladmin]
# 修改为相应的sock
socket=/var/lib/mysql/mysql.sock
  • 执行mysqldump时遇到 Unknown table 'column_statistics' in information_schema (1109)
[root@centos56 bash]# /usr/local/mysql/bin/mysqldump -uroot -ptencns152 --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > /home/mysql/backup/1.sql  
mysqldump: [Warning] Using a password on the command line interface can be insecure.
mysqldump: Couldn't execute 'SELECT COLUMN_NAME,                       JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"')                FROM information_schema.COLUMN_STATISTICS                WHERE SCHEMA_NAME = 'atd' AND TABLE_NAME = 'box_info';': Unknown table 'column_statistics' in information_schema (1109)

如果使用MySQL 8.0+版本提供的命令行工具mysqldump来导出低于8.0版本的MySQL数据库到SQL文件，会出现Unknown table 'column_statistics' in information_schema的错误，因为早期版本的MySQL数据库的information_schema数据库中没有名为COLUMN_STATISTICS的数据表。

解决问题的方法是，使用8.0以前版本MySQL附带的mysqldump工具，最好使用待备份的MySQL服务器版本对应版本号的mysqldump工具，mysqldump可以独立运行，并不依赖完整的MySQL安装包，比如在Windows中，可以直接从MySQL安装目录的bin目录中将mysqldump.exe复制到其他文件夹，甚至从一台电脑复制到另一台电脑，然后在CMD窗口中运行。

当前使用是的MySQL 5.7.22。把5.7.20的 MYSQL_HOME/bin/mysqldump 替换掉 5.7.22的，接着就能顺利执行mysqldump了，也真是奇了怪了。

转载于:https://www.cnblogs.com/lhat/p/10106517.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/450402.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

java 接口可以多继承

java 接口可以多继承

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到教程。 接口是常量值和方法定义的集合。接口是一种特殊的抽象类。 java类是单继承的。classB Extends classA java接口可以多继承。Interface…
阅读更多...
C语言struct关键字详解—结构体

C语言struct关键字详解—结构体

struct 是个神奇的关键字，它将一些相关联的数据打包成一个整体，方便使用。在网络协议、通信控制、嵌入式系统、驱动开发等地方，我们经常要传送的不是简单的字节流（char 型数组），而是多种数据组合起来的一个…
阅读更多...
JDK1.8使用Dubbo时需注意

JDK1.8使用Dubbo时需注意

2019独角兽企业重金招聘Python工程师标准>>> Dubbo自带的很多包都比较旧了，其中的javassist在JDK1.8上运行会报错 而且错误通常比较诡异，javassist是编辑和创建Java字节码的类库，常见的错误会从spring中报出 解决办法：…
阅读更多...
Java 11 已发布，String 还能这样玩！

Java 11 已发布，String 还能这样玩！

在文章《Java 11 正式发布，这 8 个逆天新特性教你写出更牛逼的代码》中，我有介绍到 Java 11 的八个新特性，其中关于 String 加强部分，我觉得有点意思，这里单独再拉出来讲。 Java 11 增加了一系列的字符串处理方法&…
阅读更多...
Redis1 晨考题

Redis1 晨考题

Redis1 晨考题 1.Redis 是什么 ？ redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 的内存数据库，并提供多种语言的 API。 2.NOSQL 是什么 ？出现的目的和意义是什么 ？ NoSQL 泛指…
阅读更多...
C语言void关键字

C语言void关键字

void 有什么好讲的呢？如果你认为没有，那就没有；但如果你认为有，那就真的有。有点像“色即是空，空即是色”。一、void a？ void 的字面意思是“空类型”，void *则为“空类型指针”，vo…
阅读更多...
深入了解RabbitMQ工作原理及简单使用

深入了解RabbitMQ工作原理及简单使用

深入了解RabbitMQ工作原理及简单使用 RabbitMQ系列文章 RabbitMQ在Ubuntu上的环境搭建深入了解RabbitMQ工作原理及简单使用RabbitMQ交换器Exchange介绍与实践RabbitMQ事务和Confirm发送方消息确认——深入解读使用Docker部署RabbitMQ集群你不知道的RabbitMQ集群架构全解RabbitM…
阅读更多...
使用el-checkbox实现全选，点击失效没有反应

使用el-checkbox实现全选，点击失效没有反应

最近在公司接收到了一个需求，给收藏夹的书籍添加批量、全选删除实现思路：点击全选改变item的checked，改变item的checked，重新便利一下所有item的checked来改变全选的selectAll1）该组件基本功能已经实现，che…
阅读更多...
Spring3.2新注解@ControllerAdvice

Spring3.2新注解@ControllerAdvice

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到教程。 ControllerAdvice，是spring3.2提供的新注解，从名字上可以看出大体意思是控制器增强。让我们先看看ControllerAdv…
阅读更多...
Mysql1 晨考题

Mysql1 晨考题

Mysql1 晨考题 1.描述主键、外键、候选主键、超键分别是什么 ？ （1）主键：数据库表中对存储数据对象给予唯一完整标识的数据列或属性的组合。一个数据列只能有一个主 键，且主键的取值不能缺失，即不能为空值…
阅读更多...
C语言关键字

C语言关键字

C语言do、while、for关键字—循环 C 语言中循环语句有三种：while 循环、do-while 循环、for 循环。while 循环：先判断while 后面括号里的值，如果为真则执行其后面的代码；否则不执行。while（1）表示死循环。…
阅读更多...
C语言字符篇（五）内存函数

C语言字符篇（五）内存函数

memcpy不可以把目的地址写成本身但是memmove可以,因为它是先保存到临时空间 #include <string.h> void *memcpy(void *dest, const void *src, size_t n);将内存src拷贝n个字符到内存destvoid *memmove(void *dest, const void *src, size_t n);将内存src的前n个数据拷贝…
阅读更多...
GMQ交易平台大力探索区块链技术，进一步推动产业繁荣

GMQ交易平台大力探索区块链技术，进一步推动产业繁荣

近年来&#xff0c;区块链技术作为金融科技的中坚力量&#xff0c;受到了产业界的热切关注&#xff0c;其实验开展和应用研发正在如火如荼的进行。 在此背景下&#xff0c;各地涌现出一大批优秀的企业投入到区块链产业中&#xff0c;各类企业投融 资活动十分活跃&#xff0c;充…
阅读更多...
java 笔试题

java 笔试题

JAVA-2003笔试题 一、选择题&#xff08;每小题2&#xff0c;共10分&#xff09; 下列语句序列执行后&#xff0c;m 的值是&#xff08; C &#xff09; int a10, b3, m5; if( ab ) ma; else ma*m; A.15 B.50 C.55 D.5若已定义byte[]x{11,22,33,-66}其中0≤k≤3&#xff0c;则…
阅读更多...
objectdatasouce的温故

objectdatasouce的温故

在做ecxel的时候&#xff0c;需要前台做一个联动的效果。 记录一下这个数据源的用法&#xff0c;大学时候用的&#xff0c;忘得差不多了 首先就是往页面拖拽一个objectdatasouce的控件 然后配置数据源&#xff1a; 选择业务对象(其实就是选择你要用的哪个类&#xff0c;如果下拉…
阅读更多...
都会五星回评，欢迎留下地址-博客之星

都会五星回评，欢迎留下地址-博客之星

欢迎五星回评地址https://bbs.csdn.net/topics/603961857
阅读更多...
jQuery核心

jQuery核心

jQuery(selector) jQuery 的核心功能都是通过这个函数实现的。 jQuery中的一切都基于这个函数&#xff0c;或者说都是在以某种方式使用这个函数。这个函数最基本的用法就是向它传递一个表达式&#xff08;通常由 CSS 选择器组成&#xff09;&#xff0c;然后根据这个表达式来查…
阅读更多...
Feign api调用方式

Feign api调用方式

Feign使用简介 基本用法 基本的使用如下所示&#xff0c;一个对于canonical Retrofit sample的适配。 interface GitHub {// RequestLine注解声明请求方法和请求地址,可以允许有查询参数RequestLine("GET /repos/{owner}/{repo}/contributors")List<Contributor&g…
阅读更多...
预处理

预处理

C语言##预算符 和#运算符一样&#xff0c;##运算符可以用于宏函数的替换部分。这个运算符把两个语言符号组合成单个语言符号。看例子&#xff1a;#define XNAME(n) x ## n如果这样使用宏&#xff1a;XNAME(8)则会被展开成这样&#xff1a;x8看明白了没&#xff1f; ##就是个粘合…
阅读更多...
Lambda表达式使用2

Lambda表达式使用2

1.概述　　　　本篇主要介绍lambda中常用的收集器&#xff0c;收集器的作用就是从数据流中生成需要的数据接口。　　　　最常用的就是Collectors.toList()&#xff0c;只要将它传递给collect()函数&#xff0c;就能够使用它了。　　　　在我们使用收集器的时候经常会用到“方法…
阅读更多...
最新文章

Copyright @ 2022~2023