大家好，我是anyux。本文介绍MySQL基于MHA的FailOver过程。
MHA FailOver过程详解
什么是FailOver
故障转移
主库宕机，一直到业务恢复正常的处理过程
如何处理FailOver
1.快速监控到主库宕机
2.选择新主节点，选择策略
mysqladmin ping
检查数据库状态，主机状态，端口等，判断从库节点读取的master_log_file及read_master_log_pos节点大小，查看Retrieved_gtid_set(已接收到的gtid大小)，executed_gtid_set(已执行的gtid号大小)
3.数据补偿
4.解除从库身份
5.剩余从库和新主库构建主从关系
6.应用透明
7.修复故障主节点(k8s可以实现节点自愈)
MHA的Failover如何实现
从启动--->故障--->转移---->业务恢复
1.MHA通过master_manager脚本启动MHA功能
2.在manager启动之前，会自动调用检查ssh互信脚本(masterha_check_ssh)和主从状态检查脚本(masterha_check_repl)。如果检查脚本不通过MHA无法启动
3.MHA-manager 通过masterha_master_monitor脚本(每隔ping_interval秒)
4.masterha_master_monitor探测主库3次无心跳之后，主认为主库宕机了
5.进行选主过程
算法一：
读取配置文件中是否有强制选主的参数
candidate_master=1check_repl_delay=0
算法二：
自动判断所有从库的日志量，将最接近主库数据的从库作为新主
算法三：
按照配置文件先后顺序，选择新主
6.数据补偿
判断主库ssh的连通性
情况一：ssh能够连接
调用save_binary_logs脚本，立即保存缺失部分的binlog到各个节点，恢复
情况二：ssh法连接
调用 apply_diff_relay_logs 脚本，计算从库的relaylog差异，恢复到2号从库
提供额外的数据补偿功能
解除从库身份
剩余从库和主库构建主从关系
应用透明
故障节点自愈
故障提醒
MHA应用透明(vip)
$vip是一个未被占用的地址，将来可实现地址飘移的，需要自己按情况调整
$brdc是广播地址，按自身网络情况调整
$ifdev是网卡名称，设置为自己实际的网卡名称
$ssh_start_vip是添加vip功能的
$ssh_stop_vip是关闭vip功能的
my $vip = '192.168.255.200';my $brdc = '192.168.255.255';my $ifdev = 'ens33';my $key = '1';my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
复制下面代码到db115主机下的 /usr/local/bin/master_ip_failover文件中
#!/usr/bin/env perluse strict;use warnings FATAL => 'all';use Getopt::Long;my ($command, $ssh_user, $orig_master_host, $orig_master_ip,$orig_master_port, $new_master_host, $new_master_ip, $new_master_port);my $vip = '192.168.255.200';my $brdc = '192.168.255.255';my $ifdev = 'ens33';my $key = '1';my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";GetOptions('command=s' => \$command,'ssh_user=s' => \$ssh_user,'orig_master_host=s' => \$orig_master_host,'orig_master_ip=s' => \$orig_master_ip,'orig_master_port=i' => \$orig_master_port,'new_master_host=s' => \$new_master_host,'new_master_ip=s' => \$new_master_ip,'new_master_port=i' => \$new_master_port,);exit &main();sub main {print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";if ( $command eq "stop" || $command eq "stopssh" ) {my $exit_code = 1;eval {print "Disabling the VIP on old master: $orig_master_host \n";&stop_vip();$exit_code = 0;};if ($@) {warn "Got Error: $@\n";exit $exit_code;}exit $exit_code;}elsif ( $command eq "start" ) {my $exit_code = 10;eval {print "Enabling the VIP - $vip on the new master - $new_master_host \n";&start_vip();$exit_code = 0;};if ($@) {warn $@;exit $exit_code;}exit $exit_code;}elsif ( $command eq "status" ) {print "Checking the Status of the script.. OK \n";exit 0;}else {&usage();exit 1;}}sub start_vip() {`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;}# A simple system call that disable the VIP on the old_mastersub stop_vip() {`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;}sub usage {print"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";}
字符转换
yum install -y dos2unixcd /usr/local/bin/dos2unix master_ip_failover
添加执行权限
chmod +x /usr/local/bin/master_ip_failover
编辑配置文件
vim /etc/mha/app1.cnf[server default]master_ip_failover_script=/usr/local/bin/master_ip_failover
检查主库
masterha_check_status --conf=/etc/mha/app1.cnf
db01手工添加vip
yum install -y net-toolsifconfig ens33:1 192.168.255.200/24ip a | grep 200
db03重启mha
主从状态检查
masterha_check_repl --conf=/etc/mha/app1.cnf
返回ok
检查mha状态
masterha_check_status --conf=/etc/mha/app1.cnf
先关闭mha
masterha_stop ---conf=/etc/mha/app1.cnf
启动mha
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
MHA故障邮箱提醒
安装邮件
yum -y install sendmailyum -y install mailx
编辑配置文件,此次是使用163邮箱，需要获取授权码
vim /etc/mail.rcset from=xxxx@163.comset smtp=smtp.163.comset smtp-auth-user=xxxx@163.comset smtp-auth-password=xxxxxset smtp-auth=login
测试验证
将xxxx替换为自己的邮箱地址
前面是内容主体，-s 后面的参数，是邮件标题
echo "你好，先生" | mail -s "你好，请阅读此文件" xxxx@xxxx.com
MHA是一次性的高可用服务，即数据库如果宕机，mha就不再工作了，也会自动宕机
当mha出现时，我们可以使用send_report以邮件报警的方式来获得错误信息数据，方便了解数据库状态。
将发送邮件的脚本内容复制到send_report文件中
cd /usr/local/binvim send_report
脚本内容如下：
#!/bin/bashecho "你好，先生,数据库宕机了" | mail -s "数据库宕机了，请登录系统查看mha状态" 1915530614@qq.com
添加执行权限
chmod +x send_report
然后修改配置文件，只需添加report_script即可
vim /etc/mha/app1.cnf[server default]report_script=/usr/local/bin/send_report
重启mha
先关闭mha
masterha_stop --conf=/etc/mha/app1.cnf
启动mha
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
检查mha状态
masterha_check_status --conf=/etc/mha/app1.cnf
额外的数据补偿(binlog_server)
实时地接收主库的数据，将数据保存到其他地区的机器上，可以理解为异地备份
找到一台额外机器，数据库版本大于5.6，支持gtid并开启
在db03上配置
no_master：表示不参与选主
hostname：设置ip地址
master_binlog_dir：新机器接收的二进制日志存放位置
vim /etc/mha/app1.cnf[binlog1]no_master=1hostname=192.168.255.116master_binlog_dir=/data/mysql/binlog
创建必要目录
mkdir -p /data/mysql/binlogchown -R mysql.mysql /data/*
修改完成后，将主库binlog接过来(从000001开始拉取，之后的binlog会自动按顺序过来)
拉取主库binlog日志
必须进入到自己创建好的目录
cd /data/mysql/binlogmysqlbinlog -R --host=192.168.255.113 --user=mha --password=mha --raw --stop-never log-bin.000001 &
注意：
拉取日志的起点，需要按照目前从库的已经获得的二进制日志为起点
重启mha
先关闭mha
masterha_stop ---conf=/etc/mha/app1.cnf
启动mha
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
故障模拟及故障处理
关闭db01数据库
systemctl stop mysqld
获取邮箱告警信息
恢复故障
启动故障节点
systemctl start mysqld
恢复1主2从环境
在db115管理节点获取恢复节点信息
grep -i "change master" /var/log/mha/app1/manager
登录db01将日志的语句修改密码后，在db01环境下执行即可
CHANGE MASTER TO MASTER_HOST='192.168.255.114', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='repl'
启动从库
start slave;
恢复db115上的配置文件
重新添加server1节点信息
[server1]hostname=192.168.255.113port=3306
启动mha
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
检查mha状态
masterha_check_status --conf=/etc/mha/app1.cnf
恢复binlogServer
必须进入到自己创建好的目录
cd /data/mysql/binlogrm -rf /data/mysql/binlog/*mysqlbinlog -R --host=192.168.255.11x --user=mha --password=mha --raw --stop-never log-bin.000001 &
注意：
log-bin.000001需要按照实现情况获取
