MySQL的二进制日志，MySQL复制原理，MySQL主从模式搭建，MySQL双主模式搭建，MySQL级联模式搭建，MySQL半同步模式复制
一、二进制日志
1、概念
MySQL的二进制日志(binary log)是一个二进制文件，主要用于记录修改数据或有可能引起数据变更的MySQL语句。二进制日志(binary log)中记录了对MySQL数据库执行更改的所有操作，并且记录了语句发生时间、执行时长、操作数据等其它额外信息，但是它不记录SELECT、SHOW等那些不修改数据的SQL语句。二进制日志(binary log)主要用于数据库恢复和主从复制，以及审计(audit)操作。
2、二进制日志特点
1、记录导致数据改变或潜在导致数据改变的SQL语句
2、记录已提交的日志
3、不依赖于存储引擎类型
4、可通过“重放”日志文件中的事件来生成数据副本
3、二进制日志相关的服务器变量
默认服务器变量配置文件为/etc/my.cnf，可以在此文件中设置相关变量的值
(1)、sql_log_bin=ON|OFF：是否记录二进制日志，默认ON，所以不需要设置，可以在mysql运行的过程中通过修改变量参数来临时关闭记录二进制日志
mysql> set sql_log_bin=off
(2)、log_bin=/PATH/BIN_LOG_FILE：指定文件位置；默认OFF。要想开启服务器的二进制日志功能必须设置此项，有两种设置方式
log_bin
不指定文件的位置，会默认二进制日志默认放在mysql的datadir目录中(不推荐)
log_bin=/data/mysql/logs/log_bin
指定文件的位置，生成的二进制文件就会在/data/mysql/logs/目录中，二进制文件名为log_bin.000001, log_bin.000002以此类推。数据库每次一重启服务，就会生成一个新的二进制文件，编号以此类推
(3)、max_binlog_size=1073741824：单个二进制日志文件的最大体积(单位：字节)，到达最大值会自动滚动，默认为1G
(4)、binlog_format=STATEMENT|ROW|MIXED：二进制日志记录的格式，默认STATEMENT。建议设置为ROW，这样删除数据的时候不记录删除语句，而是删除的行每条都记录
4、二进制管理的语句
(1)、查看mariadb自行管理使用中的二进制日志文件列表，及大小，所有二进制日志
SHOW MASTER LOGS 或者 SHOW BINARY LOGS
(2)、查看使用中的二进制日志文件，当前正在使用的二进制日志
SHOW MASTER STATUS
(3)、查看二进制文件中的指定内容
SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]
示例：SHOW BINLOG EVENTS IN 'mariadb.000002' FROM 6516 LIMIT 2,3
(4)、清除指定二进制日志
PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }
示例：
PURGE BINARY LOGS TO ‘mariadb-bin.000003’; #不包括该文件
PURGE BINARY LOGS BEFORE '2017-01-23';
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';
(5)、删除所有二进制日志，index文件重新记数，慎重操作
RESET MASTER
(6)、切换日志文件：会生成新的二进制文件
FLUSH LOGS;
5、mysqlbinlog命令用法
mysqlbinlog二进制日志的客户端命令工具
mysqlbinlog [OPTIONS] log_file…
--start-position= # 指定开始位置
--stop-position= # 指定结束位置
--start-datetime=
--stop-datetime=
命令用法示例
# mysqlbinlog --start-position=6787 --stop-position=7527 /var/lib/mysql/mariadb-bin.000003 -v
# mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003 -vvv
二、MySQL复制原理
主节点Master：
1、dump 线程：当从节点通过I/O线程连接主节点时，主节点会创建一个dump 线程，用于发送bin-log的内容。在读取bin-log中的操作时，此线程会对bin-log加锁，当读取完成，锁会被释放。
从节点Slave：
1、I/O 线程：当从节点上执行`start slave`命令之后，从节点会创建一个I/O线程用来连接主节点，请求主库中更新的bin-log。I/O线程接收到主节点binlog dump 进程发来的更新之后，保存在本地中继日志relay-log中。
2、SQL线程：从中继日志中读取日志事件，在本地完成重放
对于每一个主从连接，都需要三个进程来完成。当主节点有多个从节点时，主节点会为每一个当前连接的从节点建一个binary log dump 进程，而每个从节点都有自己的I/O进程，SQL进程。从节点用两个线程将从主库拉取更新和执行分成独立的任务，这样在执行同步数据任务的时候，不会降低读操作的性能。比如，如果从节点没有运行，此时I/O进程可以很快从主节点获取更新，尽管SQL进程还没有执行。如果在SQL进程执行之前从节点服务停止，至少I/O进程已经从主节点拉取到了最新的变更并且保存在本地relay日志中，当服务再次起来之后，就可以完成数据的同步。
三、主从同步方法
1、从0搭建主从模式
适用于项目未开始时，数据库刚刚安装完毕，没有任何数据情况。
假设A服务器(192.168.1.100)为主数据库，B服务器(192.168.1.200)为从数据库
主节点A配置：
1、编辑mysql的配置文件/etc/my.cnf
[mysqld]
# 打开2进制日志选项
log_bin
# 配置server_id，要求主从必须不一样，可以采用ip地址的尾号形式
server_id=100
2、登录mysql数据库，创建同步账号
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'192.168.1.%' IDENTIFIED BY '123456';3、查看二进制日志的位置节点mysql >SHOW MASTER STATUS->;+--------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------+----------+--------------+------------------+
| mysql.000002 | 402| | |
+--------------+----------+--------------+------------------+
从节点B配置：
1、编辑mysql的配置文件/etc/my.cnf
[mysqld]
# 配置server_id，要求主从必须不一样，可以采用ip地址的尾号形式
server_id=200
2、配置同步属性
mysql>CHANGE MASTER TO
MASTER_HOST='192.168.1.200',
MASTER_USER='repluser',
MASTER_PASSWORD='123456',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql.000001',
MASTER_LOG_POS=402;3、打开同步进程
mysql>START SLAVE4、查看同步状态
mysql> SHOW SLAVE STATUS
2、数据库A上已有数据
此模式更为普遍，通常是原业务中已有单台数据库服务器，业务需要进行主从同步
假设A服务器(192.168.1.100)为主数据库，B服务器(192.168.1.200)为从数据库
主节点A配置：
1、编辑mysql的配置文件/etc/my.cnf
[mysqld]
# 打开2进制日志选项
log_bin
# 配置server_id，要求主从必须不一样，可以采用ip地址的尾号形式
server_id=100
2、登录mysql数据库，创建同步账号
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'192.168.1.%' IDENTIFIED BY '123456';
3、通过mysqldump导出数据库
# mysqldump –uroot-A -F -E -R -x --master-data=1 --flush-privileges --triggers --default-character-set=utf8 --hex-blob >/tmp/backup.sql4、将备份的数据库拷贝到B主机上# scp /tmp/backup.sql 192.168.1.200:/tmp
从节点B配置：
1、编辑mysql的配置文件/etc/my.cnf
[mysqld]
#配置server_id，要求主从必须不一样，可以采用ip地址的尾号形式
server_id=200
2、启动B主机的数据库
# systemctl start mariadb3、导入已备份的数据库
# mysql< /tmp/backup.sql4、查看备份到的位置less /tmp/backup.sql
。。。。省略。。。。
CHANGE MASTER TO MASTER_LOG_FILE='mysql.000003', MASTER_LOG_POS=245;
。。。。省略。。。。5、配置同步属性
mysql>CHANGE MASTER TO
MASTER_HOST='192.168.1.200',
MASTER_USER='repluser',
MASTER_PASSWORD='123456',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql.000003',
MASTER_LOG_POS=245;6、打开同步进程
mysql> START SLAVE
四、双主同步方法
建议从0开始配置
假设A服务器(192.168.1.100)为主数据库，B服务器(192.168.1.200)为第二主数据库
主节点A配置：
1、编辑mysql的配置文件/etc/my.cnf
[mysqld]
#打开2进制日志选项
log_bin
#配置server_id，要求主从必须不一样，可以采用ip地址的尾号形式
server_id=100# 配置自增ID的起始点，和增长幅度
auto_increment_offset=1auto_increment_increment=2
2、登录mysql数据库，创建同步账号
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'192.168.1.%' IDENTIFIED BY '123456';3、查看数据库当前二进制位置，给B使用的
mysql>SHOW MASTER STATUS;+--------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------+----------+--------------+------------------+
|mysql.000001| 407 | | |
+--------------+----------+--------------+------------------+
4、配置同步属性
注意：此处的日志位置是B通过SHOW MASTER STATUS查看到的日志位置
mysql>CHANGE MASTER TO
MASTER_HOST='192.168.1.200',
MASTER_USER='repluser',
MASTER_PASSWORD='123456',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql.000001',
MASTER_LOG_POS=407;5、打开同步进程
mysql> START SLAVE
另一主节点B配置：
1、编辑mysql的配置文件/etc/my.cnf
[mysqld]
#打开2进制日志选项
log_bin
#配置server_id，要求主从必须不一样，可以采用ip地址的尾号形式
server_id=200# 配置自增ID的起始点，和增长幅度
auto_increment_offset=2auto_increment_increment=2
2、登录mysql数据库，创建同步账号
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'192.168.1.%' IDENTIFIED BY '123456';3、查看数据库当前二进制位置，给A使用的
mysql>SHOW MASTER STATUS;+--------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------+----------+--------------+------------------+
| mysql.000001 | 407 | | |
+--------------+----------+--------------+------------------+
4、配置同步属性
注意：此处的日志位置是A通过SHOW MASTER STATUS查看到的日志位置
mysql>CHANGE MASTER TO
MASTER_HOST='192.168.1.100',
MASTER_USER='repluser',
MASTER_PASSWORD='123456',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql.000001',
MASTER_LOG_POS=407;5、打开同步进程
mysql> START SLAVE
5、级联复制方法
级联复制是将主库的数据同步到级联库，然后级联库把自己的数据同步到从库上，这样可以减少主库的压力
主库配置：
1、修改主库配置文件
# vim/etc/my.cnf
server-id=100log-bin2、创建复制的用户
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'192.168.1.%' IDENTIFIED BY '123456';3、将主库的数据进行全备份
# mysqldump-A --single-transaction --master-data=1 -F > /data/all.sql4、把备份数据拷贝到从库
#scp /data/all.sql 192.168.1.200:/data
级联库配置：
1、修改配置文件
# vim/etc/my.cnfserver-id=200
log-bin
# 将中继日志同步到二进制日志中↓
log_slave_updates
2、修改主库的的全备份文件，在文件的首页
把 CHANGE MASTER TO MASTER_LOG_FILE='***', MASTER_LOG_POS=***;语句修改为如下。注意***的地方数据不变
# vim/data/all.sql
CHANGE MASTER TO
MASTER_HOST='192.168.1.100',
MASTER_USER='repluser',
MASTER_PASSWORD='123456',MASTER_PORT=3306,
MASTER_LOG_FILE='***', MASTER_LOG_POS=***;3、导入数据库
mysql> source /date/all.sql4、刷新权限
mysql>FLUSH PRIVELEGES;5、开启同步
mysql> start slave;
6、级联库数据进行全备份
mysqldump -A --single-transaction --master-data=1 -F > /data/all.sql
7、级联库数据拷贝到从库1，和从库2
scp /data/all.sql 192.168.1.201:/data
scp /data/all.sql 192.168.1.202:/data
从库1配置：
1、修改配置文件
# vim/etc/my.cnf
server-id=201
2、修改级联库的全备份文件，在文件的首页
把 CHANGE MASTER TO MASTER_LOG_FILE='***', MASTER_LOG_POS=***;语句修改为如下。注意***的地方数据不变
# vim/data/all.sql
CHANGE MASTER TO
MASTER_HOST='192.168.1.200',
MASTER_USER='repluser',
MASTER_PASSWORD='123456',MASTER_PORT=3306,
MASTER_LOG_FILE='***', MASTER_LOG_POS=***;3、导入数据库
mysql> source /date/all.sql4、刷新权限
mysql>FLUSH PRIVELEGES;5、开启同步
mysql> start slave;
从库2配置与从库1类似
6、半同步复制
默认情况下，MySQL的复制功能是异步的，异步复制可以提供最佳的性能，主库把binlog日志发送给从库即结束，并不验证从库是否接收完毕。这意味着当主库或从库发生故障时，有可能从库没有接收到主库发送过来的binlog日志，这就会造成主库和从库的数据不一致，甚至在恢复时造成数据的丢失。
在开启了半同步复制机制后，主库只有当有任意一台从库已经接收到主库的数据后，告诉主库。主库收到从库同步成功的信息后，才继续后面的操作。
主库配置：
主数据库A(192.168.1.100)，从数据库B(192.168.1.201)，从数据库B(192.168.1.202)
1、修改配置文件# vim /etc/my.cnf
[mysqld]
server-id=100
log-bin
2、创建同步用户账户mysql>grant replication slave on *.* to repluser@'192.168.1.%' identified by '123456';
3、主库全备份，并将备份数据传送给从库# mysqldump -A --single-transaction --master-data=1 -F > /data/all.sql
# scp /data/all.sql 192.168.1.201:/tmp
4、主库安装半同步模块，并开启该功能
mysql>INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
mysql>set global rpl_semi_sync_master_enabled=on;
可以放到服务器启动参数里
# vim /etc/my.cnfrpl_semi_sync_master_enabled=1
5、半同步状态查询参考命令
mysql>SHOW GLOBAL VARIABLES LIKE '%semi%';
mysql>SHOW GLOBAL STATUS LIKE '%semi%';
从库B配置：
1、修改配置文件
# vim/etc/my.cnf
[mysqld]
server-id=201
2、修改主库的的全备份文件，在文件的首页
把 CHANGE MASTER TO MASTER_LOG_FILE='***', MASTER_LOG_POS=***;语句修改为如下。注意***的地方数据不变
# vim/data/all.sql
CHANGE MASTER TO
MASTER_HOST='192.168.1.100',
MASTER_USER='repluser',
MASTER_PASSWORD='123456',MASTER_PORT=3306,
MASTER_LOG_FILE='***', MASTER_LOG_POS=***;3、导入数据库
mysql> source /date/all.sql4、刷新权限
mysql>FLUSH PRIVELEGES;5、从库安装半同步模块(与主库模块不同，注意)
mysql>INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
mysql>SET GLOBAL rpl_semi_sync_slave_enabled=1;
可以放到服务器启动参数里
# vim/etc/my.cnf
rpl_semi_sync_slave_enabled=1
6、开启主从同步
mysql>start slave;
从库C配置类似
...)
