Keepalived介绍、安装和简单使用

1 Keepalived
- 1.1 keepalived介绍
- - 1、keepalived原理
  - 2、keepalived原理
  - 3、VRRP工作模式
- 1.2 keepalived安装配置
- - 1、安装配置
  - 2、keepalived配置文件详解
  - 3、通过配置文件实现资源监控
- 1.3 案例
- - 1、nginx + keepalived 实现高可用
  - 2、nginx + keepalived 实现高可用 - 非抢占模式
总结

1 Keepalived

1.1 keepalived介绍

1、keepalived原理

Keepalived是一个基于VRRP协议来实现LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会使用2台服务器运行Keepalived，一台为主服务器MASTER，另一台为备份服务器BACKUP，但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证高可用性。Keepalived是VRRP的完美实现。
说明：VRRP协议，即虚拟路由冗余协议，通过把几台路由设备联合组成一台虚拟的路由设备，将虚拟路由设备的IP地址作为用户的默认网关实现与外部网络通信。当网关设备发生故障时，VRRP机制能够选举新的网关设备承担数据流量，从而保障网络的可靠通信

2、keepalived原理

keepalived工作在TCP/IP参考模型的第三、四和第五层，也就是网络层、传输层个和应用层
keepalived主要有三个模块，分别是core、check和vrrp。

core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。
check负责健康检查，包括常见的各种检查方式。
vrrp模块是来实现VRRP协议的
组件架构：

整个体系结构分层用户层和内核层：

Scheduler I/O Multiplexer：I/O复用分发调用器，负责安排Keepalived所有的内部的任务请求
Memory Management：内存管理机制
Control Plane：控制面板，实现对配置文件的编译和解析，Keepalived的配置文件解析比较特殊，它并不是一次解析所有模块的配置，而是只有在用到某模块时才解析相应的配置
Core components：Keepalived的核心组件，包含了一系列功能模块，主要有watch dog、Checkers、VRRP Stack、IPVS wrapper、Netlink Reflector
- watch dog：一个极为简单又非常有效的检测工具，针对被监视目标设置一个计数器和阈值，watch dog会自己增加此计数值，然后等待被监视目标周期性的重置该数值，一旦被监控目标发生错误，就无法重置该数值，watch dog就会检测到。Keepalived是通过它来监控Checkers和VRRP进程
- Checkers：实现对服务器运行状态检测和故障隔离
- VRRP Stack：实现HA集群中失败切换功能，通过VRRP功能再结合LVS负载均衡软件即可部署一个高性能的负载均衡集群
- IPVS wrapper：实现IPVS功能，该模块可以将设置好的IPVS规则发送到内核空间并提交给IPVS模块，最终实现负载均衡功能
- Netlink Reflector：实现VIP的设置和切换

3、VRRP工作模式

三种状态
- Initialize状态：系统启动后进入initialize状态
- Master状态
- Backup状态
选举机制
- 抢占模式下，一旦有优先级高的路由器加入，立即成为Master，默认
- 非抢占模式下，只要Master不挂掉，优先级高的路由器只能等待

1.2 keepalived安装配置

1、安装配置

yum install -y keepalived
#备份
cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak

2、keepalived配置文件详解

! Configuration File for keepalived# 全局配置
global_defs {# 接收邮件notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}# 发送的邮箱notification_email_from Alexandre.Cassen@firewall.loc# 邮件服务器smtp_server 192.168.200.1# 邮件服务器超时时间smtp_connect_timeout 30# 路由id，唯一的router_id LVS_DEVEL# #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查vrrp_skip_check_adv_addr# 开启了此项后没有设置vrrp_iptables则会自动开启iptables防火墙规则，导致VIP地址无法访问，建议不加此项vrrp_strict# 与vrrp_strict同时设置时可禁止iptables规则的生成，注释或者无vrrp_strict时可不加此项
!   vrrp_iptables# 设置ARP接口之间发送报文的延迟时间，可以精确到毫秒，默认是0vrrp_garp_interval 0# 设置非请求消息的发送延迟时间，默认为0vrrp_gna_interval 0# 指定要在其下运行脚本的默认用户名/组名，如果未指定此选项，则如果该用户存在，则用户默认为keepalived_script，否则为root,如果未指定groupname，则默认为用户的组。
!   script_user root
}# 脚本配置
## 自定义资源监控脚本，vrrp实例根据脚本返回值进行下一步操作，脚本可被多个实例调用。
## vrrp_script，仅仅通过监控脚本返回的状态码来识别集群服务是否正常，如果返回状态码是0，那么就认为服务正常，反之亦然
## vrrp_script，其实不关注监控脚本或者命令是怎么实现的，仅仅通过监控脚本返回的状态码来识别集群是否正常工作
vrrp_script nginx_check {script"/tools/nginx_check.sh"interval 1
} # 配置虚拟路由器
vrrp_instance VIP_1 {# 设置此虚拟路由器的初始状态，可选择MASTER或者BACKUPstate MASTER# 绑定当前虚拟路由器所使用的物理接口，如eth0、lo等interface eth0# 设置虚拟路由器的唯一标识,取值范围为0-255,每个虚拟路由器的该项值必须是唯一的,否则无法启动服务,并且同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一virtual_router_id 51# 设置当前物理节点在此虚拟路由器中的优先级,优先级取值范围为1-254,值越大优先级越高,每个keepalived节点取值不同priority 100# 设置VRRP通告的时间间隔，默认为1秒advert_int 1# 设置认证机制authentication {# 认证类型,可选择AH和PASS两种,AH为IPSC互联网安全协议认证,PASS为简单密码认证,推荐PASS认证auth_type PASS# 预共享秘钥设置,仅前8位有效,同一虚拟路由器的多个keepalived节点auth_pass值必须保持一致auth_pass 1111}# 添加虚拟路由器的IP,并可设置IP对应的子网掩码、网卡和标签等，生产中可能会在同一个虚拟路由器上添加上百个IP，不同的IP分行隔开，不指定网卡时默认添加在eth0上，不设置子网掩码时默认为32位。在添加IP地址时，需确保将要使用的IP不存在virtual_ipaddress {192.168.200.16192.168.200.17192.168.200.18}#指定当切换到master时，执行的脚本
!    notify_master /opt/keepalived/etc/script/notify_fifo.sh#指定当切换到backup时，执行的脚本
!    notify_backup /opt/keepalived/etc/script/notify_fifo.sh#故障时执行的脚本
!    notify_fault /opt/keepalived/etc/script/notify_fifo.sh# 通知
!    notify /opt/keepalived/etc/script/notify_fifo.sh#使用global_defs中提供的邮件地址和smtp服务器发送邮件通知 
!    smtp_alert
}

3、通过配置文件实现资源监控

通过track_script和vrrp_script组合，实现对集群资源的监控并改变优先级，进而实现主备切换

# 1、通过killall命令探测服务运行状态
## killall会发送一个信号给正在运行的进场，默认信号量是15
vrrp_script nginx_check {script"killall -0 nginx"interval 1
}
track_script {nginx_check
}# 2、通过检测端口运行状态
vrrp_script nginx_check {script "</dev/tcp/127.0.0.1/80"interval 1fail 2rise 1
}
track_script {nginx_check
}
##  </dev/tcp/127.0.0.1/80定义了一个对本机80端口的状态检测
## 其中"fail"表示检测到失败的最大次数，也就是说如果请求失败两次，就认为此节点资源发生故障，进行切换操作
## rise表示请求一次成功，就认为此节点资源恢复正常# 3、通过shell语句进行状态监控
vrrp_script nginx_check {script "if [ -f /var/log/nginx/nginx.pid ]; then exit 0; else exit 1; fi"interval 1
}
track_script {nginx_check
}
## shell语句执行返回的结果最好是返回一个状态码：0或非0# 4、通过脚本进行服务状态监控
vrrp_script nginx_check {script"/tools/nginx_check.sh"interval 1
}track_script {nginx_check
}
## shell脚本执行返回的结果最好是返回一个状态码：0或非0

1.3 案例

1、nginx + keepalived 实现高可用

keepalived的抢占模式：MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来
环境：
192.168.92.10 server
192.168.92.11 node1

# 1、安装（在两台服务器上执行）
yum install -y keepalived## 安装nginx以及拓展源
yum install epel-release -y
yum install -y nginx# 2、配置nginx 服务cat > /etc/nginx/conf.d/web.conf << EOF
server{listen 8080;root         /usr/share/nginx/html;index test.html;
}
EOF
### server上执行
echo "<h1>This is test1</h1>"  > /usr/share/nginx/html/test.html
### node1上执行
echo "<h1>This is test2</h1>"  > /usr/share/nginx/html/test.htmlsystemctl start nginx.service
systemctl status nginx.service# 3、编写脚本
vim nginx_check.sh 
#!/bin/bash
result=`pidof nginx`
if [ ! -z "${result}" ];
thenexit 0
elseexit 1
fivim master.sh 
#!/bin/bash
ip=`hostname -I | awk '{print $1}'`
dt=$(date +'%Y%m%d %H:%M:%S')
echo "$0--${ip}--${dt}--master" >> /root/scripts/kp.logvim backup.sh
#!/bin/bash
ip=$(hostname -I | awk '{print $1}')
dt=$(date +'%Y%m%d %H:%M:%S')
echo "$0--${ip}--${dt}--backup" >> /root/scripts/kp.logvim fault.sh
#!/bin/bash
ip=$(ip addr|grep inet| grep 192.168 |awk '{print $2}')
dt=$(date +'%Y%m%d %H:%M:%S')
echo "$0--${ip}--${dt}--fault" >> /root/scripts/kp.logvim stop.sh
#!/bin/bash
ip=$(ip addr|grep inet| grep 192.168| awk '{print $2}')
dt=$(date +'%Y%m%d %H:%M:%S')
echo "$0--${ip}--${dt}--stop" >> /root/scripts/kp.log## 两个服务器都要有脚本
scp -r scripts/ root@192.168.92.11:/root# 4、配置 keepalived
cp /etc/keepalived/keepalived.conf{,.bak}
### server 上配置
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalivedglobal_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addrvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_script nginx_check {script "/root/scripts/nginx_check.sh"interval 1
}vrrp_instance VI_1 {state MASTERinterface ens33    # 修改为实际网卡名，可以通过 ip a 查看virtual_router_id 51    # # VRRP 路由 ID实例，每个实例是唯一的priority 100    # 优先级advert_int 1    # 指定VRRP 心跳包通告间隔时间，默认1秒 authentication {auth_type PASSauth_pass 1111}# 虚拟IP，必须与本地网卡在同一网段virtual_ipaddress {192.168.92.200/24}track_script {nginx_check}notify_master /root/scripts/master.shnotify_backup /root/scripts/backup.shnotify_fault /root/scripts/fault.shnotify_stop /root/scripts/stop.sh
}
#### node1 上配置
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalivedglobal_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addrvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_script nginx_check {script "/root/scripts/nginx_check.sh"interval 1
}vrrp_instance VI_1 {state BACKUPinterface ens33virtual_router_id 51priority 80advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.92.200/24}track_script {nginx_check}notify_master /root/scripts/master.shnotify_backup /root/scripts/backup.shnotify_fault /root/scripts/fault.shnotify_stop /root/scripts/stop.sh}# 5、启动服务
###  server 节点上
systemctl start nginx
systemctl start keepalived
#### 启动之后可以看到，ens33 网卡上已经有虚拟IP了
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000link/ether 00:0c:29:c9:3a:06 brd ff:ff:ff:ff:ff:ffinet 192.168.92.10/24 brd 192.168.92.255 scope global noprefixroute ens33valid_lft forever preferred_lft foreverinet 192.168.92.200/32 scope global ens33
### node1节点上
systemctl start nginx
systemctl start keepalived
#### # 6、测试
curl 192.168.92.200:8080
<h1>This is test1</h1>

在这里插入图片描述

### 关掉server 上的nginx
systemctl stop nginx.service
### 再查看，可以看出来 VIP 漂移了
curl 192.168.92.200:8080
<h1>This is test2</h1>

在这里插入图片描述

### server 上的nginx启动
systemctl start nginx.service
### 再查看，可以看出来 VIP 又漂移了
curl 192.168.92.200:8080
<h1>This is test1</h1>

在这里插入图片描述

2、nginx + keepalived 实现高可用 - 非抢占模式

keepalived的非抢占模式：意味着即使一个 Keepalived 实例的优先级更高，它也不会从当前拥有虚拟 IP（VIP）的实例中抢占 VIP，除非当前拥有 VIP 的实例主动释放或者无法提供服务。
环境：
server 192.168.92.10
node1 192.168.92.11
其他配置同上不需要修改，只需要修改 keepalived 的配置文件

# 1、修改 keepalived 配置文件
#### server 上的配置文件
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalivedglobal_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addrvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_script nginx_check {script "/root/scripts/nginx_check.sh"interval 1
}vrrp_instance VI_1 {state BACKUPinterface ens33virtual_router_id 51priority 100nopreempt               #设置为不抢占advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.92.200/24}track_script {nginx_check}notify_master /root/scripts/master.shnotify_backup /root/scripts/backup.shnotify_fault /root/scripts/fault.shnotify_stop /root/scripts/stop.sh
}#### node1 上的配置文件
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalivedglobal_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addrvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_script nginx_check {script "/root/scripts/nginx_check.sh"interval 1
}vrrp_instance VI_1 {state BACKUPinterface ens33virtual_router_id 51priority 80advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.92.200/24}track_script {nginx_check}notify_master /root/scripts/master.shnotify_backup /root/scripts/backup.shnotify_fault /root/scripts/fault.shnotify_stop /root/scripts/stop.sh}# 2、重启服务（修改配置文件后，需要重启服务才能生效）
systemctl restart keepalived.service# 3、测试
#### VIP 此时在 server 节点上
curl 192.168.92.200:8080
<h1>This is test1</h1>
#### 关闭server 上的 nginx
systemctl stop nginx.service
####  可以看出 VIP漂移了
curl 192.168.92.200:8080
<h1>This is test2</h1>
#### sever ：再重启nignx ，看是否VIP是否会漂移会server上
systemctl start nginx.service
#### 可以看到VIP并没有漂回来
curl 192.168.92.200:8080
<h1>This is test2</h1>
#### 此时关闭 node1 上的nignx
systemctl stop nginx.service
#### 此时 VIP没有漂移
curl 192.168.92.200:8080
curl: (7) Failed connect to 192.168.92.200:8080; 拒绝连接
#### 关闭 keepalived 服务
systemctl stop keepalived.service
#### 此时 VIP才发生了漂移
curl 192.168.92.200:8080
<h1>This is test1</h1>### 从上述实验中可以看出来，keepalived的非抢占模式中，nginx服务停止的时候VIP不会发生漂移，除非keepalived服务停止

总结

keepalived默认选举机制是通过优先级，优先级高的节点启动后会把Master节点拿过来，也可以认为是抢占模式。
keepalived的非抢占模式，只有当 keepalived 所在节点不可用，或者keepalived服务不可用的时候，VIP才会漂移到优先级高的节点上，如果用来监控某个服务，如nginx时，即使nginx挂掉也不会发生VIP漂移，这点一定要注意。