主从数据库同步原理
image.png
主从数据库同步工作原理(流程)：
当主库的数据发生修改时，数据更改的记录将写入到主库的二进制文件中，从库此时将会调用一个IO线程读取主库的二进制文件，并与中继日志作对比，并将存在差异的事件写入到中继日志中(当两日志内容事件一致时，IO线程将处于睡眠状态)，然后从库再调用SQL线程去读取中继日志，并将刚写入的事件数据放入到从库中以保持主从数据库数据同步。
配置步骤：
安装环境：
操作系统：Cent0S 6.9
数据库版本：MySQL 5.6
主机A：192.168.206.134(Master)
主机B：192.168.206.201(Slave)
首先，需要注意几点问题：
1、互相同步的两台mysql的版本必须保证大版本号一致。比如5.5+和5.6+之间同步数据，5.6的数据同步到5.5就会出现问题。保证大版本号一致很重要。
2、每台服务器必须开启binlog，不开启binlog则根本无法开始数据同步。
3、每台服务器必须配置不同的server-id，范围在1到(2^32-1)之间。
以上三点都可能造成很多奇怪错误，请一定注意。
这里强调的数据库的版本，是因为MySQL在5.6之前和之后的配置方式是不一样的，后面将会提示到。
首先，要保证防火墙对3306端口的开启，为了学习数据库的主从配置，可以使用service iptables stop 命令直接关闭防火墙。
#service iptables stop
然后可以在两台机子之间进行 ping操作，确保两台机器之间能够想通
Master部分的配置
在Linux环境下MySQL的配置文件的位置是在 /etc/my.cnf
，在该文件下指定Master的完整配置如下：
mastercnf文件1.png
mastercnf文件2.png
其中，server-id用于标识唯一的数据库，取值为1到(2^32-1)
binlog-ignore-db:表示不需要同步的数据库
binlog-do-db:表示需要同步的数据库
然后重启MySQL
service mysqld restart
输入用户名密码进入MySQL
#mysql -uroot -p
赋予从库权限帐号，允许用户在主库上读取日志，赋予192.168.206.201也就是Slave机器有File权限，只赋予Slave机器有File权限还不行，还要给它REPLICATION SLAVE的权限才可以
在Master数据库命令行中输入：
mysql>GRANT FILE ON *.* TO '数据库用户名'@'Slave地址' IDENTIFIED BY '数据库登录密码'；//赋予File权限格式
mysql>GRANT FILE ON *.* TO 'root'@'192.168.206.201' IDENTIFIED BY 'mysql password';//赋予File权限
mysql>GRANT REPLICATION SLAVE ON *.* TO '数据库用户名'@‘Slave地址’ IDENTIFIED BY '数据库登录密码';//赋予REPLICATION SLAVE权限格式
mysql>GRANT REPLICATION SLAVE ON *.* TO 'root'@'192.168.206.201' IDENTIFIED BY 'mysql password';//赋予REPLICATION SLAVE权限
mysql>FLUSH PRIVILEGES;//刷新权限
重启mysql，登录mysql，显示主库信息：
mysql>show master status;
3查看master库状态.png
这里的File、Position是在后面配置Slave的时候需要用到的，Binlog_Do_DB表示需要同步的数据库，Binlog_Ignore_DB 表示Ignore的数据库
另外提示：如果执行这个步骤始终为Empty set(0.00 sec)，那说明前面的my.cnf没配置对，需要仔细检查。
Slave部分的配置
与Master的配置一样，首先需要配置my.cnf文件，如下
4slave配置文件1.png
5slave配置文件2.png
在配置文件中，MySQL5.6之后的版本中没有指定：
master-host=192.168.206.134 #Master的主机IP
master-user=root
master-password=mysql password #Master的MySQL密码
新版本的配置这种方式是不适用的。如果，在MySQL5.6和之后的版本中配置从库的时候，设置到了上边的内容，即指定了master-host、master-user等信息的话，重启MySQL的时候就会报错，查看数据库的报错信息(数据库的目录, /data/mysqldb/VM_128_194_centos.err )，可以看到master-host 被检测数是一个未知的变量，因此会出现错误
在5.6以及后续版本的配置如下：
修改完/etc/my.cnf 文件之后，重启一下MySQL
service mysqld restart
登录进入mysql控制台
#mysql -uroot -p
在控制台输入
mysql> stop slave; //关闭Slave
mysql> change master to master_host='192.168.206.134',master_user='root',master_password='123456',master_log_file='mysql-bin.000003', master_log_pos=120;//指定master信息
mysql> start slave; //开启Slave
在这里指定Master的信息，master_log_file是在配置Master的时候的File选项， master_log_pos是在配置Master的Position 选项，这里要进行对应。
更多关于change master语句的信息可参考：http://www.jianshu.com/p/ada9f34d8563
然后可以通过mysql> show slave status \G; 查看配置的信息：
6slave状态文件.png
7slave状态文件.png
在途中的Slave_IO_Running和Slave_SQL_Running都为yes，那么表示配置成功
各个字段含义可参考这篇文章：http://www.jianshu.com/p/3c4d7c6c6205
当完成配置后
查看master的状态：
mysql >show master status; //Position不应该为0
mysql>show processlist;
//state状态应该为Has sent all binlog to slave; waiting for binlog to be updated
image.png
查看slave状态：
mysql>show slave status;
//Slave_IO_Running 与 Slave_SQL_Running 状态都要为Yes
mysql>show processlist;
//应该有两行state值为：
Has read all relay log; waiting for the slave I/O thread to update it
Waiting for master to send event
image.png
下面开始真机测试：
测试环境：windows10+Navicat11
以下测试是使用真机连接虚拟机中的主从库
首先在Navicat中创建连接(物理机连接虚拟机的方法参考：http://www.jianshu.com/p/fa4db03db9ca)：
7创建连接.png
7创建连接2.png
连接的地址为虚拟机中主/从库的地址
连接上去之后，分别在Master和Slave中创建数据库，该数据库名字为刚刚配置的需要同步的数据库名字
接着开始在该数据库中新建数据表
首先在主库中创建
9刷新从表之后从表数据表自动创建.png
创建好之后右键刷新从库，从库自动创建表
8Navicat中新建数据表.png
同样的，在主表添加数据
10主表添加数据.png
添加完数据后有点刷新从表，从表的数据也自动刷新
另：
从主服务器得到一个快照版本
如果你的是MYISAM或者既有MYISAM又有INNODB的话就在主服务器上使用如下命令导出服务器的一个快照：
mysqldump -uroot -p --lock-tables --events --triggers --routines --flush-logs --master-data=2 --databases test > db.sql
试过只有INNODB的话就是用如下命令：
mysqldump -uroot -p --single-transaction --events --triggers --routines --flush-logs --master-data=2 --databases test > db.sql
将快照版本还原到从服务器上
mysqldump -uroot -p -h 10.1.1.76 test < db.sql
关于一些常见问题及解决方案
一、主从数据库不同步问题
可以先查看一下进程是否sleep太多
mysql> show processlist;
然后可以看看master的状态
mysql>show master status;
如果都为正常，那就到slave上看看状态
mysql>show slave status \G;
1、可能slave服务未开启
数据库控制台输入show slave status \G;打印出slave的状态
mysql> show slave status \G;
主要看slave_IO_Running和Slave_SQL_Running，结果都需要为yes，如果不为yes，需要重启slave服务
mysql> service slave restart;//重启
如果服务未开启，则开启：
mysql> service slave start;
2、从数据库连接失败
在正常情况下，配置好服务器后，从库不进行修改操作，即从库只有读的权限，如果修改了从库数据表，则会造成同步失败，如发现失败，用show slave status \G;查看服务器状态信息：
mysql> show slave status \G;
查看Slave_SQL_Running状态，如果出现slave_SQL_Running为NO时，表示从库连接失败，在Last_Error处会打印错误日志信息。出现该问题主要是事务回滚问题，解决方法有两种。
1、
mysql> slave stop;//停止从服务
mysql>set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;//不要滥用
mysql>slave start;//启动从服务
2、手动重设从服务器
mysql5.6之后的版本(包含5.6)
mysql> stop slave; #关闭Slavemysql> change master to master_host='主服务器IP地址',master_user='主库用户名',master_password='主库登录密码',
master_log_file='mysql-bin.000004', master_log_pos=28125;//master_log_file是在配置master的时候的file选项，master_log_pos是在配置master时候position选项的 mysql> show master status;可查看
mysql> start slave; #开启Slave
mysql5.6之前的版本：
mysql>change master to
master_host='主库IP地址',
master_user='主库用户名',
master_password='主库登录密码',
master_log_file='主库文件信息',//同上
master_log_pos=' 主库的position信息 ';//同上
如果数据库相差较大，或者要求数据完全统一的情况：
1、先进入主库，进行锁表，防止数据写入
mysql>flush tables with read lock;//此处是锁定为只读状态
2、进行数据备份
将数据备份到mysql.bak.sql文件
# mysqldump -uroot -p -hlocalhost > mysql.bak.sql
3.查看master 状态
mysql> show master status;
+-------------------+----------+--------------+-------------------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+-------------------+----------+--------------+-------------------------------+
| mysqld-bin.000001 | 3260 | | mysql,test,information_schema |
+-------------------+----------+--------------+-------------------------------+
1 row in set (0.00 sec)
4.把mysql备份文件传到从库机器，进行数据恢复
使用scp命令
[root@server01 mysql]# scp mysql.bak.sql root@192.168.128.101:/tmp/
5.停止从库的状态
mysql> stop slave;
6.然后到从库执行mysql命令，导入数据备份
mysql> source /tmp/mysql.bak.sql
7.设置从库同步，注意该处的同步点，就是主库show master status信息里的| File| Position两项
#change master to master_host = '192.168.128.100', master_user = 'rsync', master_port=3306, master_password='', master_log_file = 'mysqld-bin.000001', master_log_pos=3260;
8.重新开启从同步
mysql> start slave;
9.查看同步状态
mysql> show slave status; 查看：
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
二、主从复制，中继日志不断增长
解决方案：
设置中继日志自动删除
vi 配置文件my.cnf，在mysqld下添加(位置：/etc/my.cnf)
relay_log-purge=1//(自动清除中继日志打开)
然后重启MySQL， 这样SQL Thread每执行完一个events时才会判断该relay-log是否需要，已经不再需要则自动删除
三、主从同步失败，如何快速同步
跳过错误，继续同步。设置SQL_slave_skip_counter=1;来快速恢复主从架构，但是此时主从架构的数据可能已经不一致了。set global sql_slave_skip_counter=N; 当N等于1时，表示跳过若干个event，直到当前事务结束，而当N大于1时，每跳过一个event，都要N--设置--slave-skip-errors=[ err_code1[,err_code2][,all]] 跳过出现指定错误的SQL.如果要断开主从架构，应先stop slave io_thread;等待执行完relay log里的内容再stop slave;
如果有与字符编码问题：
先停止slave
mysql>stop slave;
跳过slave上的一个错误：
mysql>set global sql_slave_skip_counter=1;//不要滥用，用之前最好上网查找资料
启动slave
mysql>start slave;
使用此方法需要注意的问题：
检查跳过的event是否在一个事物中
跳过slave上的event进行后续处理后要检查数据的一致性。
最好能在master的binglog上查看一下跳过的evnet到底做了写什么。
四、IO线程(Slave_IO_Running)始终保持为connecting状态
主从架构中，从库的io_thread一直保持connecting状态。先理解Slave_IO_Running 为connecting,的含义。造成的主要有三个：
1、网络不通 (是否打开防火墙)
2、复制用户的密码不对 (主从同步指定的用户密码主机名限制)
3、pos不对 (指定的position不正确
五、主键冲突，报1062错误
主从架构中，从库复制报1062错误，主键冲突。如果binlog是基于语句级复制，很容易出现上面的问题。设置innodb_autoincr_lock_mode=0或是1或修改binlog_format=mixed|row
六、从库同步慢
主从架构中，从库的同步数据非常慢。出现主从同步慢的原因有：
主从同步延迟与系统时间的关系，查看主从两台机器间系统时间差
主从同步延迟与压力、网络、机器性能的关系，查看从库的io，cpu，mem及网络压力
主从同步延迟与lock锁的关系(myisam表读时会堵塞写)，尽量避免使用myisam表。一个实例里面尽量减少数据库的数量。
七、change master时报错ERROR 1201(HY000)
表现：在搭建主从时，报1201错误 。ERROR 1201 (HY000): Could not initialize master info structure; more error messages can be found in the MySQL error log
解决方法：出现这个问题的原因是之前曾做过主从复制!需要reset slave后再change
八、关于在主从的时候使用触发器的问题
1 主从都存在trigger时，主库会记录sql语句，不包含trigger的操作，从库上数据和主库一致..
2 主有trigger,从库上没有trigger时，从库上没有trigger时，触发器不会被执行
3 主上无trigger,从上有trigger时 ，主从数据不一致，从库上的trigger被触发
