keepalive软件

一、基础

官网：keepalived.org/

基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

vrrp技术

虚拟路由器：Virtual Router 不是真实存在，虚构出来的

虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器

VIP：Virtual IP 对外提供服务的地址

VMAC：Virutal MAC (00-00-5e-00-01-VRID)

物理路由器：

master：主设备

backup：备用设备

priority：优先级

vrrp相关技术

工作方式：抢占式，非抢占式，延迟抢占模式

当主挂了，备接管，当主恢复之后主则会立即chen

keepalived架构

用户空间核心组件：
1. vrrp stack：VIP消息通告虚拟ip
2. checkers：监测real server（简单来说就是监控后端真实服务器的服务）是否存活
3. system call：实现 vrrp 协议状态转换时调用脚本的功能
4. SMTP：邮件组件（报警邮件）
5. IPVS wrapper：生成IPVS规则（直接生成ipvsadm）
6. Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）
7. WatchDog：监控进程（整个架构是否有问题）
控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

二、安装 keepalive

1. yum安装

[root@node6 ~]#  yum  install   keepalived  -y[root@node6 ~]#  rpm -qc keepalived    //配置文件
/etc/keepalived/keepalived.conf
/etc/sysconfig/keepalived[root@node6 ~]#  vim /etc/keepalived/keepalived.conf   //修改网卡名称interface eth33

2. 编译安装


//安装依赖包环境
yum install gcc curl openssl-devel libnl3-devel net-snmp-devel  -y//官网下载安装包（ Keepalived for Linux ）
wget https://keepalived.org/software/keepalived-2.2.2.tar.gz//解压安装包
tar  xf   keepalived-2.2.2.tar.gz
cd   keepalived-2.2.2///编译安装
./configure --prefix=/usr/local/keepalived
make   &&  make  install//yum安装会自动生成service文件
//编译好后，服务起不来是因为没有配置文件  /etc/keepalived/keepalived.conf
//复制配置文件
mkdir    /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/keepalived.conf//修改配置文件21行 的网卡名称，否则起不来
sed  -i   's/eth0/ens33/'

三、 Keepalived 相关文件

软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：
- yum： /usr/share/doc/keepalived-1.3.5/samples
- 编译：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：/etc/sysconfig/keepalived CentOS

1. 配置组成

/etc/keepalived/keepalived.conf 配置组成

GLOBAL CONFIGURATION （全局配置）
- 定义邮件配置、route_id 、vrrp配置、组播地址等
VRRP CONFIGURATION （虚拟路由器设置）
- 定义vrrp协议中的每个vrrp虚拟路由器的规则，基本信息
LVS CONFIGURATION（lvs设置）
- lvs调度服务器的规则设置和真实服务器的设置

2. 全局配置内容详解

global_defs {notification_email {root@localhost//keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个root@localhost360601212@qq.com}notification_email_from keepalived@localhost   //发邮件的地址smtp_server 127.0.0.1      //邮件服务器地址smtp_connect_timeout 30    //邮件服务器连接timeoutrouter_id   LVS01          //每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响vrrp_skip_check_adv_addr   //对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查vrrp_strict                //严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置。vrrp_garp_interval 0       //gratuitous ARP messages 免费ARP报文发送延迟，0表示不延迟vrrp_gna_interval 0        //unsolicited NA messages （不请自来）消息发送延迟vrrp_mcast_group4 225.0.0.18 //指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18vrrp_iptables              //此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}注意：启用 vrrp_strict 时，不能启用单播

3. 虚拟路由器配置内容详解

`格式`
vrrp_instance <STRING> {    //<String>为vrrp的实例名,一般为业务名称配置参数......}`配置参数`
state MASTER|BACKUP    //当前节点在此虚拟路由器上的初始状态，状态为MASTER或者BACKUP
interface IFACE_NAME   //绑定为当前虚拟路由器使用的物理接口，如：eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID //每个虚拟路由器惟一标识，范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100           //当前物理节点在此虚拟路由器的优先级，范围：1-254，值越大优先级越高,每个keepalived主机节点此值不同（主高 从低）
advert_int 1           //vrrp通告的时间间隔，默认1s，主告诉从自己还活着
authentication {       //认证机制auth_type AH|PASS     //AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)auth_pass <PASSWORD>  //预共享密钥，仅前8位有效，同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress {    //虚拟IP,生产环境可能指定上百个IP地址192.168.200.100       //指定VIP，不指定网卡，默认为,注意：不指定/prefix,默认为/32192.168.200.101/24 dev eth1   //指定VIP的网卡，建议和interface指令指定的岗卡不在一个网卡192.168.200.102/24 dev eth2 label eth2:1   //指定VIP的网卡label   ifconfig eth2:1   192.168.200.102/24
}
track_interface {      //配置监控网络接口，一旦出现故障，则转为FAULT状态实现地址转移eth0eth1…
}

4. lvs配置内容详解

virtual_server 192.168.91.188 80 {    //调度器ip 端口delay_loop 6            //健康间隔时间6秒lb_algo rr              //调度算法轮询lb_kind NAT              //lvs模式为NATpersistence_timeout 50  //连接保持时间改为50protocol TCP            //采用TCP协议real_server 192.168.91.103 80 {       //真实服务器地址weight 1                    //节点权重TCP_CHECK {                 //检查方式connect_port 80         //检查目标端口connect_timeout 3       //连接超时nb_get_retry 3          //重试次数delay_before_retry 3    //重试间隔时间}}

四、Keepalive 脑裂

什么是脑裂？

在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果。共享资源被瓜分、两边“服务”都起不来了；或者两边“服务”都起来了，但同时读写“共享存储”，导致数据损坏。

都有哪些原因导致脑裂？
- 高可用服务器对之间心跳线链路发生故障，导致无法正常通信
- 心跳线坏了（包括断了，老化）
- 心跳线间连接的设备故障（网卡及交换机）
- 网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
- 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输
- 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
- 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等
- 多组keepalive服务器造成组播冲突
如何解决keepalived脑裂问题？
- 同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路，这样一条线路断了，另外一条还是好的，依然能传送心跳消息
- 当检查脑裂时强行关闭一个心跳节点（这个功能需要特殊设备支持，如stonith、fence）相当于备节点接收不到心跳消息，通过单独的线路发送关机命令关闭主节点的电源

`模拟脑裂`
单播
[root@localhost keepalived]#iptables -A INPUT -s 172.16.88.8 -j REJECT
//在备份主机中加入此项
[root@localhost keepalived]#ip a
//可以在主备上都发现vip地址

五、VRRP Script

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能。

keepalived可以和任何软件组合，形成高可用的架构★

1. VRRP Script 配置

分两步实现：①定义脚本； ②调用脚本。

1.1 定义脚本

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点。

vrrp_script <SCRIPT_NAME> {script <STRING>|<QUOTED-STRING>   //此脚本返回值为非0时，会触发下面OPTIONS执行OPTIONS
}

`示例：`
vrrp_script   cxk   {
script   "/opt/nginx.sh"
interval 5     //每隔5s 执行上面的脚本测试 nginx 是否存活
weight   -30   //自动减优先级 30
fall     2     //nginx 测试失败了 1次失败不算需要2次失败才认定你真的死了
rise     2     //ngnix恢复了测试2次都是正常才让你变回主
}

1.2 调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的vrrp_script

track_script {
SCRIPT_NAME_1
SCRIPT_NAME_2