部署 LVS（nginx）+keepalived高可用负载均衡集群

目录

一、集群的概述

1、什么是集群

2、普通集群与负载均衡集群

2.1 普通集群（Regular Cluster）

2.2 负载均衡集群（Load Balancing Cluster）

2.3 高可用集群（High Availability Cluster）

2.4 区别

二、Keepalive基础概述

1、vrrp（虚拟路由冗余协议）技术

1.1 vrrp协议概念

1.2 vrrp技术工作原理

1.3 vrrp状态机 

1.4 vrrp协议的抢占功能

2、keepalived 概述

2.1 keepalived 作用

2.2 Keepalived 架构

2.3 安装keepalived

2.4 keepalived的相关文件及组成

2.4.1 keepalived的相关文件

2.4.2 主配置文件的组成

2.4.3 主配置文件的全局配置详解

2.4.4 主配置文件的vrrp_instance模块详解

2.4.5 主配置文件的virtual_server模块详解

三、部署LVS+keepalived集群

1、部署master负载调度服务器

1.1 修改主配置文件

1.2 调整/proc响应参数

2、部署backup负载调度服务器

2.1 修改主配置文件

2.2 调整/proc响应参数

3、部署节点服务器1

3.1 设置虚拟网卡（VIP）

3.1.1 临时设置虚拟回环网卡

3.1.2 永久设置虚拟回环网卡

3.2 忽略ARP请求

3.2 安装并启动nginx软件

3.4 新建网页站点文件

3.5 关闭长连接

4、部署节点服务器2

4.1 设置虚拟网卡（VIP）

4.1.1 临时设置虚拟回环网卡

4.1.2 永久设置虚拟回环网卡

4.2 忽略ARP请求

4.3 安装并启动nginx软件

4.4 新建网页站点文件

4.5 关闭长连接

5、客户端测试

四、其他有用配置

1、主从抢占模式配置

1.1 抢占模式（默认模式）

1.2 非抢占模式

1.3 延迟抢占模式

2、组播/单播地址

2.1 组播地址

2.2 单播地址

3、通知脚本

3.1 配置邮箱

3.2 编写脚本

3.3 修改keepalived主配置文件

3.4 测试

4、日志功能

4.1 修改keepalived日志配置文件

4.2 修改rsyslog主配置文件

五、实现其它应用的高可用性 VRRP Script

1、VRRP Script实现步骤

2、部署nginx+keepalived集群

2.1 部署master调度服务器

2.1.1 修改nginx主配置文件

2.1.2 修改keepalived主配置文件

2.2 部署backup调度服务器

六、高可用集群的脑裂问题

1、什么是脑裂

2、导致脑裂的原因

3、预防和解决脑裂问题

4、使用iptables规则模拟脑裂

一、集群的概述

1、什么是集群

在计算机科学中，集群（Cluster）是指一组相互连接的计算机（节点），这些计算机协同工作以完成共同的任务。集群可以通过网络相互通信和协作，从而形成一个整体系统

由多台主机构成，但对外只能表现为一个整体，只提供一个访问入口（域名或者ip地址），相当于一个大型计算机

集群通常被用于提高计算性能、可靠性和可扩展性

2、普通集群与负载均衡集群

2.1 普通集群（Regular Cluster）

普通的群集的部署是通过一台度器控制调配多台节点服务器进行业务请求的处理，但是仅仅是一台调度器，就会存在极大的单点故障风险，当该调度器的链路或则调度器本身出现故障时，就会导致整个业务的无法正常进行

2.2 负载均衡集群（Load Balancing Cluster）

负载均衡集群是一种普通集群的特殊形式，其中引入了负载均衡器（Load Balancer）来均衡各个节点之间的工作负载。负载均衡器可以根据不同的算法（如轮询、最小连接数等）将传入的请求分发到集群中的不同节点，以确保各个节点的负载大致均衡。负载均衡集群可以提高系统的性能和可靠性，同时还能更好地应对突发的高负载情况

2.3 高可用集群（High Availability Cluster）

高可用集群是由一台主调度器和一台或多台备用调度器。在主调度器能够正常运转时，由主调度器进行节点服务器业务的分配处理，其余备用调度器处于待机状态，不参与当前的集群运转。当主调度器出现故障无法运转时，此时备用调度器会由优先级最高的调度承担主调度器的工作，而出现故障的主调调度器便会退出当前工作，由人工维修后返回集群

2.4 区别

普通集群是基本形式，负载均衡集群在此基础上引入负载均衡器以提高性能，高可用集群则在此基础上更加注重系统的可用性和容错能力。根据具体的需求和场景，可以选择合适的集群形式来搭建系统以满足要求

二、Keepalive基础概述

1、vrrp（虚拟路由冗余协议）技术

1.1 vrrp协议概念

vrrp技术旨在提供网络设备的冗余和高可用性。它允许多台路由器或交换机共享一个虚拟 IP 地址，从而实现对外部网络的透明故障切换

VRRP 协议工作在 OSI 模型的网络层（第三层），其基本原理是将一组路由器配置为 VRRP 组，并选择其中一台路由器作为虚拟路由器的主节点，其他路由器则成为备用节点。主节点负责处理传入流量，而备用节点则处于待命状态

1.2 vrrp技术工作原理

VRRP（Virtual Router Redundancy Protocol）的工作模式基于主备模式。在这种模式下，多个路由器或交换机被组织成一个 VRRP 组，其中包括一个主节点和一个或多个备用节点。这些节点一起协作以提供冗余和高可用性

当主节点不可用时，备用节点中优先级最高的节点将接管虚拟 IP 地址，成为新的主节点，从而实现快速故障切换。这种模式确保了即使某个节点发生故障，整个系统仍能够继续提供服务，从而实现了网络设备的冗余和高可用性

  • VRRP 组：多个路由器被配置为一个 VRRP 组。每个组都有一个虚拟 IP 地址和一个虚拟 MAC 地址，用于代表整个组

  • 主节点：VRRP 组中具有最高优先级的节点会成为主节点，负责处理传入流量，并使用虚拟 IP 地址提供服务 

  • 备用节点：其他节点则成为备用节点，处于待命状态。它们监视主节点的可达性，并准备接管虚拟 IP 地址，以确保服务的连续性

  • Hello 消息：VRRP 节点定期发送 Hello 消息以通知其它节点自己的存在。这些消息还可以用于检测对等节点的可达性

  • 虚拟路由器（Virtual Router）：是一个逻辑实体，它由一组物理路由器（Physical Routers）共同提供服务。虚拟路由器的主要目的是提供冗余和高可用性，以防止单点故障

  • 虚拟路由器标识（Virtual Router Identifier，VRID）：是VRRP协议中的一个重要参数，用于标识一个VRRP组。在一个VRRP组中，所有的路由器都需要配置相同的VRID，以便它们可以识别彼此，并协同工作。当一个路由器成为VRRP组的Master时，它会发送带有自己的VRID的VRRP包，以通知其他路由器它的存在

  • 虚拟 IP 地址 (VIP)：这是由 VRRP 组共享的虚拟 IP 地址。它允许多个路由器共享一个 IP 地址，以提供冗余和高可用性。VIP 通常与 VRRP 组中的主节点相关联，并且在发生故障转移时会迁移到备用节点。

  • 虚拟 MAC 地址 (VMAC)：VMAC 是与虚拟 IP 地址相关联的虚拟 MAC 地址。当 VIP 迁移到 VRRP 组中的另一台路由器时，VMAC 也会相应地切换到新的路由器，以确保网络设备可以正确地识别并路由流量到新的主节点（00-00-5e-00-01-VRID)

  • 故障切换：如果一个节点停止发送 Hello 消息，其他节点会认为该节点已经失效，触发故障转移。此时，备用节点中优先级最高的节点将接管虚拟 IP 地址，并成为新的主节点

  • 快速故障切换：VRRP 允许在几秒内完成主备节点之间的切换，从而减少服务中断时间

1.3 vrrp状态机 

优先级：

  • 默认0 - 255
  • 0代表主路由器主动退出
  • 255代表有设备和虚拟ip冲突
  • 可手动配置1-254
  • 优先级相同再比较接口IP地址大小，IP地址大的优先
  • 优先级默认为100，缺省值是100 

1.4 vrrp协议的抢占功能

  • 优先级：每个VRRP路由器都有一个优先级，优先级高的路由器会成为Master。当一个路由器的优先级超过当前Master的路由器，它会接管Master的角色
  • 预先抢占：在预先抢占模式下，当一个优先级更高的路由器重新上线或者其优先级超过当前Master的路由器，它会立即接管Master的角色，而不管当前Master的路由器是否正常工作
  • 非预先抢占：在非预先抢占模式下，当一个优先级更高的路由器重新上线或者其优先级超过当前Master的路由器，它不会立即接管Master的角色，而是等待当前Master的路由器失效后，才会接管Master的角色
  • 抢占延迟：抢占延迟是指在预先抢占模式下，当一个路由器的优先级超过当前Master的路由器，它需要等待一段时间（抢占延迟时间）后才能接管Master的角色。这是为了防止网络中频繁的Master切换
  • 抢占权重：抢占权重是指在预先抢占模式下，当一个路由器的优先级超过当前Master的路由器，它需要满足一定的抢占权重条件后才能接管Master的角色。这是为了防止网络中频繁的Master切换

2、keepalived 概述

2.1 keepalived 作用

keepalived 是一个用于实现高可用性的开源软件，它主要用于在Linux系统上实现负载均衡和故障转移

  • 基于vrrp协议：keepalived 可以创建一个虚拟的IP地址，这个IP地址可以被多个服务器共享。当一个服务器出现故障时，keepalived 会自动将这个IP地址转移到其他正常的服务器，以保证服务的可用性
  • 配置简单：能为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

  • 健康检查：keepalived 可以定期检查后端真实服务器（RS）的健康状态，如果一个服务器出现故障，keepalived 会自动将这个服务器从负载均衡中移除，以避免将请求发送到故障的服务器。

  • 支持多种负载均衡算法：keepalived 支持多种负载均衡算法，包括轮询、加权轮询、最小连接数等
  • 支持多种通信协议：keepalived 支持多种通信协议，包括TCP、HTTP、SMTP
  • 基于脚本调用接口：完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务
keepalived工具官网：http://keepalived.org/

2.2 Keepalived 架构

#官网文档
https://keepalived.org/doc/
http://keepalived.org/documentation.html

  • 用户空间核心组件：

  1. vrrp stack：VIP消息通告 虚拟ip

  2. checkers：监测real server（简单来说 就是监控后端真实服务器的服务）是否存活

  3. system call：实现 vrrp 协议状态转换时调用脚本的功能

  4. SMTP：邮件组件（报警邮件）

  5. IPVS wrapper：生成IPVS规则（直接生成ipvsadm）

  6. Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）

WatchDog：监控进程（整个架构是否有问题）

  • 控制组件：提供keepalived.conf 的解析器，完成Keepalived配置

  • IO复用器：针对网络目的而优化的自己的线程抽象

  • 内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

2.3 安装keepalived

#yum安装keepalived软件
yum install -y keepalived.x86_64

2.4 keepalived的相关文件及组成

2.4.1 keepalived的相关文件

  • 软件包名：keepalived

  • 主程序文件：/usr/sbin/keepalived

  • 主配置文件：/etc/keepalived/keepalived.conf

  • 配置文件示例：/usr/share/doc/keepalived/

  • Unit File：/lib/systemd/system/keepalived.service

  • Unit File的环境配置文件：/etc/sysconfig/keepalived CentOS

2.4.2 主配置文件的组成

/etc/keepalived/keepalived.conf 配置组成

  • GLOBAL CONFIGURATION

Global definitions（全局配置）：定义邮件配置，route_id，vrrp配置。组播地址等

  • VRRP CONFIGURATION

VRRP instance(s)：定义vrrp协议中的每个vrrp虚拟路由器的规则，基本信息

  • LVS CONFIGURATION（lvs调度服务器的规则设置）

Virtual server group(s)

Virtual server(s)：LVS集群的VS和RS

2.4.3 主配置文件的全局配置详解
[root@localhost ~]#vim /etc/keepalived/keepalived.conf
global_defs {notification_email {root@localhost#keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个root@localhostnum@qq.com}notification_email_from keepalived@localhost  #发邮件的地址smtp_server 127.0.0.1     #邮件服务器地址smtp_connect_timeout 30   #邮件服务器连接timeoutrouter_id R1#每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响vrrp_skip_check_adv_addr  #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查vrrp_strict #严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置。vrrp_garp_interval 0 #gratuitous ARP messages 免费ARP报文发送延迟，0表示不延迟vrrp_gna_interval 0 #unsolicited NA messages （不请自来）消息发送延迟vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18 vrrp_iptables        #此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}
2.4.4 主配置文件的vrrp_instance模块详解
[root@localhost ~]#vim /etc/keepalived/keepalived.conf
vrrp_instance <STRING> {
#<String>为vrrp的实例名,一般为业务名称配置参数......}
#配置参数：
state MASTER|BACKUP
#当前节点在此虚拟路由器上的初始状态，状态为MASTER或者BACKUP
interface IFACE_NAME 
#绑定为当前虚拟路由器使用的物理接口，如：eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID 
#每个虚拟路由器惟一标识，范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100 
#当前物理节点在此虚拟路由器的优先级，范围：1-254，值越大优先级越高,每个keepalived主机节点此值不同advert_int 1
#vrrp通告的时间间隔，默认1sauthentication { 
#认证机制auth_type AH|PASS   #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)auth_pass <PASSWORD> #预共享密钥，仅前8位有效，同一个虚拟路由器的多个keepalived节点必须一样
}
include    /etc/keealived/conf.d/*.conf
virtual_ipaddress { 
#虚拟IP,生产环境可能指定上百个IP地址<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>172.16.12.10#指定VIP，不指定网卡，默认为,注意：不指定/prefix,默认为/32172.16.12.11/24 dev eth1   #指定VIP的网卡，建议和interface指令指定的岗卡不在一个网卡172.16.12.12/24 dev eth2 label eth2:1 #指定VIP的网卡label 
}
track_interface { 
#配置监控网络接口，一旦出现故障，则转为FAULT状态实现地址转移eth0eth1…
}
2.4.5 主配置文件的virtual_server模块详解
[root@localhost ~]#vim /etc/keepalived/keepalived.conf
virtual_server 172.16.12.200 80 {delay_loop 6#健康间隔时间6秒lb_algo rr#调度算法轮询lb_kind DR#lvs模式为DR persistence_timeout 0#连接保持时间改为0 否则 无法体现效果protocol TCP#采用协议real_server 172.16.12.12 80 {weight 1#45行删除#节点权重TCP_CHECK{connect_port 80#检查目标端口connect_timeout 3#连接超时 nb_get_retry 3#重试次数delay_before_retry 3#重试间隔时间}}real_server 172.16.12.13 80 {weight 1TCP_CHECK{connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}

三、部署LVS+keepalived集群

前提：关闭所有设备的防火墙和核心防护

[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0

1、部署master负载调度服务器

1.1 修改主配置文件

[root@localhost ~]#yum install -y keepalived.x86_64
#yum安装keepalived软件
[root@localhost ~]#systemctl start keepalived.service 
[root@localhost ~]#cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
#下面将修改主配置文件，为避免修改错误导致无法挽回的后果，建议备份原始主配置文件
[root@localhost ~]#vim /etc/keepalived/keepalived.conf
global_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 127.0.0.1smtp_connect_timeout 30router_id LVS_01vrrp_skip_check_adv_addr#vrrp_strictvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_instance VI_1 {state MASTERinterface ens33virtual_router_id 51priority 100advert_int 1authentication {auth_type PASSauth_pass 123456}virtual_ipaddress {172.16.12.200}
}virtual_server 172.16.12.200 80 {delay_loop 6lb_algo rrlb_kind DRpersistence_timeout 0protocol TCPreal_server 172.16.12.12 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}real_server 172.16.12.13 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}
#下面其他多余的配置可删除

 注：抓包能够得到同一热备组间master服务器与backup服务器之间通告的认证密码是明文传输的

[root@localhost ~]#systemctl restart keepalived.service 
[root@localhost ~]#ip a

[root@localhost ~]#yum install -y ipvsadm.x86_64
[root@localhost ~]#ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost ~]#systemctl start ipvsadm.service
[root@localhost ~]#systemctl restart keepalived.service 
[root@localhost ~]#ipvsadm -ln

1.2 调整/proc响应参数

[root@localhost ~]#vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]#sysctl -p

2、部署backup负载调度服务器

2.1 修改主配置文件

[root@localhost ~]#yum install -y keepalived.x86_64
#yum安装keepalived软件
[root@localhost ~]#systemctl start keepalived.service 
[root@localhost ~]#cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
#下面将修改主配置文件，为避免修改错误导致无法挽回的后果，建议备份原始主配置文件
#在master调度服务器上远程拷贝文件到backup调度服务器上
[root@localhost ~]#scp /etc/keepalived/keepalived.conf 172.16.12.11:/opt

[root@localhost ~]#cd /opt
[root@localhost opt]#mv keepalived.conf /etc/keepalived/

修改主配置文件： 

[root@localhost ~]#systemctl restart keepalived.service 
[root@localhost ~]#ip a

[root@localhost ~]#yum install -y ipvsadm.x86_64
[root@localhost ~]#ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost ~]#systemctl start ipvsadm.service
[root@localhost ~]#systemctl restart keepalived.service 
[root@localhost ~]#ipvsadm -ln

2.2 调整/proc响应参数

[root@localhost ~]#vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]#sysctl -p

3、部署节点服务器1

3.1 设置虚拟网卡（VIP）

3.1.1 临时设置虚拟回环网卡
[root@localhost ~]#ifconfig lo:0 172.16.12.200/32
[root@localhost ~]#ip a

3.1.2 永久设置虚拟回环网卡
[root@localhost ~]#cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]#cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]#vim ifcfg-lo:0
#修改回环网卡名，IP地址，子网掩码
DEVICE=lo:0
IPADDR=172.16.12.200
NETMASK=255.255.255.255
NETWORK=127.0.0.0
[root@localhost network-scripts]#systemctl restart network
[root@localhost network-scripts]#ip a

3.2 忽略ARP请求

#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
[root@localhost ~]#vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost ~]#sysctl -p

3.2 安装并启动nginx软件

[root@localhost ~]#yum install epel-release.noarch -y
[root@localhost ~]#yum install -y nginx
[root@localhost ~]#systemctl start nginx

3.4 新建网页站点文件

[root@localhost ~]#echo "welcome to web 1" > /usr/share/nginx/html/index.html
[root@localhost ~]#cat /usr/share/nginx/html/index.html

3.5 关闭长连接

4、部署节点服务器2

4.1 设置虚拟网卡（VIP）

4.1.1 临时设置虚拟回环网卡
[root@localhost ~]#ifconfig lo:0 172.16.12.200/32
[root@localhost ~]#ip a

4.1.2 永久设置虚拟回环网卡
[root@localhost ~]#cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]#cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]#vim ifcfg-lo:0
#修改回环网卡名，IP地址，子网掩码
DEVICE=lo:0
IPADDR=172.16.12.200
NETMASK=255.255.255.255
NETWORK=127.0.0.0
[root@localhost network-scripts]#systemctl restart network
[root@localhost network-scripts]#ip a

4.2 忽略ARP请求

#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
[root@localhost ~]#vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost ~]#sysctl -p

4.3 安装并启动nginx软件

[root@localhost ~]#yum install epel-release.noarch -y
[root@localhost ~]#yum install -y nginx
[root@localhost ~]#systemctl start nginx

4.4 新建网页站点文件

[root@localhost ~]#echo "welcome to web 2" > /usr/share/nginx/html/index.html
[root@localhost ~]#cat /usr/share/nginx/html/index.html

4.5 关闭长连接

5、客户端测试

（1）客户端访问虚拟地址，可以看到负载均衡（1:1）

（2）关闭master负载调度服务器的keepalived服务，测试客户端能否访问到网页

（3）重新开启原来master服务器的keepalived服务，测试是否抢占虚拟地址

四、其他有用配置

1、主从抢占模式配置

1.1 抢占模式（默认模式）

当一个优先级更高的路由器重新上线或者其优先级超过当前Master的路由器，它会立即接管Master的角色，而不管当前Master的路由器是否正常工作

详细可参考上述的测试情况

1.2 非抢占模式

关闭默认的抢占模式，一定要将原master调度服务器主配置文件里的state修改成BACKUP，否则可能会不成功，再添加 nopreempt 即可，那么当原master重新上线，也不会抢占当前正在工作的服务器，它现在反而会变成了backup服务器

测试： 

1.3 延迟抢占模式

preempt_delay  60       #指定抢占延迟时间为60s，默认延迟300s

测试： 

2、组播/单播地址

2.1 组播地址

#两个调度服务器都需要配置
vrrp_mcast_group4 234.6.6.6
#组播地址范围：224~239

测试：

[root@localhost ~]#tcpdump -i ens33 -nn src host 172.16.12.10

2.2 单播地址

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，即只有同一热备组master和backup调度服务器之间通告信息，减少网络流量

注意：启用 vrrp_strict 时，不能启用单播，在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络

unicast_src_ip 172.16.12.11unicast_peer {172.16.12.10 }

 测试：

[root@localhost ~]#tcpdump -i ens33 -nn src host 172.16.12.10

3、通知脚本

通知脚本（notification script）是用来在状态转换发生时通知管理员或执行特定操作的脚本。当Keepalived监测到故障或状态变化时，例如主服务器故障或切换到备用服务器，它会触发通知脚本。记录状态变化和事件日志，并发送电子邮件或短信通知给管理员或运维团队等操作

（1）当前节点成为主节点时触发的脚本

notify_master <STRING>|<QUOTED-STRING>

（2）当前节点转为备节点时触发的脚本

notify_backup <STRING>|<QUOTED-STRING>

（3）当前节点转为“失败”状态时触发的脚本

notify_fault <STRING>|<QUOTED-STRING>

（4）通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知

notify <STRING>|<QUOTED-STRING>

（5）当停止VRRP时触发的脚本

notify_stop <STRING>|<QUOTED-STRING>

3.1 配置邮箱

#非必要
[root@localhost ~]# vim /etc/mail.rc
set from=num@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=num5@qq.com
set smtp-auth-password=*******   #POP3/IMAP/SMTP/Exchange/CardDAV 授权码

3.2 编写脚本

[root@localhost ~]#cd /opt
[root@localhost opt]#vim keepalive.sh
#!/bin/bash
contact='num@qq.com'   #qq邮箱
notify() {mailsubject="$(hostname) to be $1, vip floating"mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)notify master;;
backup)notify backup;;
fault)notify fault;;
*)echo "Usage: $(basename $0) {master|backup|fault}"exit 1;;
esac
[root@localhost opt]#chmod +x keepalived.sh

3.3 修改keepalived主配置文件

[root@localhost opt]#vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {……notify_master "/opt/keepalive.sh master"notify_backup "/opt/keepalive.sh backup"notify_fault "/opt/keepalive.sh fault"
}
[root@localhost opt]#systemctl restart keepalived.service

3.4 测试

模拟master调度服务器宕机

[root@localhost opt]#systemctl restart keepalived.service 
[root@localhost opt]#killall keepalived

4、日志功能

开启keepalived单独日志功能

4.1 修改keepalived日志配置文件

[root@localhost opt]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@localhost opt]#systemctl restart keepalived.service

4.2 修改rsyslog主配置文件

[root@localhost opt]#vim /etc/rsyslog.conf
local6.*                                                /var/log/keepalive.log
[root@localhost opt]#systemctl restart rsyslog.service

测试： 

[root@localhost opt]#systemctl restart keepalived.service 
[root@localhost opt]#find /var/log/ -name "keepalive*"    #查看是否生成独立的keepalived日志文件
/var/log/keepalive.log
[root@localhost opt]#cat /var/log/keepalive.log     #查看日志

五、实现其它应用的高可用性 VRRP Script

1、VRRP Script实现步骤

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能

VRRP Script 技术，分以下两步实现

（1）定义脚本

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时，会触发下面OPTIONS执行OPTIONS 
}
vrrp_script <SCRIPT_NAME> { 				#定义一个检测脚本，在global_defs 之外配置script <STRING>|<QUOTED-STRING> 		#shell命令或脚本路径(注意执行权限)interval <INTEGER> 					#间隔时间，单位为秒，默认1秒timeout <INTEGER> 						#超时时间weight  <INTEGER:-254..254> 			#默认为0,如果设置此值为负数，当上面脚本返回值为非0时，会将此值与本节点权重相加可以降低本节点权重，即表示fall. 如果是正数，当脚本返回值为0，会将此值与本节点权重相加可以提高本节点权重，即表示 rise.通常使用负值fall <INTEGER>       					#执行脚本连续几次都失败,则转换为失败，建议设为2以上rise <INTEGER>       					#执行脚本连续几次都成功，把服务器从失败标记为成功user USERNAME [GROUPNAME] 				#执行监测脚本的用户或组      init_fail         						#设置默认标记为失败状态，监测成功之后再转换为成功状态
}

（2） 调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的vrrp_script

track_script {SCRIPT_NAME_1SCRIPT_NAME_2
}

2、部署nginx+keepalived集群

前提：两个调度服务器都需要安装并开启nginx软件，关闭ipvsadm软件

[root@localhost ~]#yum install epel-release.noarch -y
[root@localhost ~]#yum install -y nginx
[root@localhost ~]#systemctl start nginx
[root@localhost log]#systemctl stop ipvsadm

两个调度服务器都要备份nginx主配置文件 

[root@localhost ~]#cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak
#下面将修改nginx主配置文件，为避免修改错误导致无法挽回的后果，建议备份原始主配置文件

2.1 部署master调度服务器

2.1.1 修改nginx主配置文件
[root@localhost ~]#vim /etc/nginx/nginx.conf
#在http模块下配置upstream web {server 172.16.12.12;server 172.16.12.13;}#在server模块下配置location / {proxy_pass http://web;}
[root@localhost ~]#systemctl restart nginx

2.1.2 修改keepalived主配置文件

先编写脚本：

[root@localhost ~]#vim /etc/keepalived/ng.sh
#!/bin/bash
killall -0 nginx
[root@localhost ~]#chmod +x /etc/keepalived/ng.sh

修改keepalived主配置文件：

[root@localhost ~]#vim /etc/keepalived/keepalived.conf
vrrp_script check_down {script  "/etc/keepalived/ng.sh"interval 1weight -30fall  3rise 2timeout 2
}track_script {check_down}
[root@localhost ~]#systemctl restart keepalived.service

2.2 部署backup调度服务器

其实，backup调度服务器的nginx配置文件和keepalived配置文件其实一样的，只需要master调度服务器将配置文件远程拷贝并替换到backup调度服务器的配置文件即可

[root@localhost ~]#scp /etc/nginx/nginx.conf 172.16.12.11:/etc/nginx/
[root@localhost ~]#scp /etc/keepalived/keepalived.conf 172.16.12.11:/etc/keepalived/keepalived.conf
[root@localhost ~]#scp /etc/keepalived/ng.sh 172.16.12.11:/etc/keepalived/ng.sh

[root@localhost log]#systemctl restart nginx
[root@localhost log]#systemctl restart keepalived.service

至于节点服务器1和节点服务器2的配置和之前的一样就行

测试：此时master调度服务器正在工作，客户端能访问到

关闭master负载调度服务器的nginx服务，测试客户端能否访问到网页

 此时当master调度服务器的nginx服务故障后，backup调度服务器会顶上进行工作

六、高可用集群的脑裂问题

1、什么是脑裂

  • 在高可用(HA)系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统就分裂成为2个独立的个体
  • 由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人"一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果。共享资源被瓜分、两边“服务"都起不来了;或者两边“服务”都起来了，但同时读写“共享存储”，导致数据损坏 

2、导致脑裂的原因

硬件原因：

  • 高可用服务器各节点之间心跳线链路发生故障，导致无法正常通信
  • 因心跳线坏了（包括断了，老化）
  • 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
  • 因心跳线间连接的设备故障（网卡及交换机）
  • 因仲裁的机器出问题（采用仲裁的方案）。

运用配置原因：

  • 高可用服务器上开启了 iptables 防火墙阻挡了心跳消息传输
  • 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
  • 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等
  • Keepalived 配置里同一VRRP实例如果 virtual_router_id 两端参数配置不一致也会导致裂脑问题发生

3、预防和解决脑裂问题

  • 同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路，这样一条线路断了，另外一条还是好的，依然能传送心跳消息
  • 当检查脑裂时强行关闭一个心跳节点（这个功能需要特殊设备支持，如stonith、fence）相当于备节点接收不到心跳消息，通过单独的线路发送关机命令关闭主节点的电源
  • 建立完善的监控系统，实时监测集群的状态和健康状况，及时发现潜在的问题并采取相应的措施 

4、使用iptables规则模拟脑裂

#在backup调度服务器上配置iptables规则，拒绝接受来自master调度服务器的数据包
[root@localhost ~]#iptables -A INPUT -s 172.16.12.10 -j REJECT

这样就有整个集群就会有两个调度服务器在工作，争抢“共享资源”、争起“应用服务”，导致发生严重后果

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/731129.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【LeetCode 算法专题突破】---二分查找（⭐⭐⭐）

【LeetCode 算法专题突破】---二分查找（⭐⭐⭐）

前言 我在算法题目的海洋中畅游已久&#xff0c;也曾在算法竞赛中荣获佳绩。然而&#xff0c;我发现自己对于算法的学习&#xff0c;还缺乏一个系统性的总结和归类。尽管我已经涉猎过不少算法类型&#xff0c;但心中仍旧觉得有所欠缺&#xff0c;未能形成完整的算法体系。 因…
阅读更多...
服务器又被挖矿记录

服务器又被挖矿记录

写在前面 23年11月的时候我写过一篇记录服务器被挖矿的情况&#xff0c;点我查看。当时是在桌面看到了bash进程CPU占用异常发现了服务器被挖矿。 而过了几个月没想到又被攻击&#xff0c;这次比上次攻击手段要更高明点&#xff0c;在这记录下吧。 发现过程 服务器用的是4090…
阅读更多...
贪心算法（greedy algorithm，又称贪婪算法）详解（附例题）

贪心算法（greedy algorithm，又称贪婪算法）详解（附例题）

目录 基本思想一&#xff09;概念二&#xff09;找出全局最优解的要求三&#xff09;求解时应考虑的问题四&#xff09;基本步骤五&#xff09;贪心策略选择六&#xff09;实际应用 1.零钱找回问题2.背包问题3.哈夫曼编码4.单源路径中的Djikstra算法5.最小生成树Prim算法 基本…
阅读更多...
TCP包头

TCP包头

TCP包头: 1.序号:发送端发送数据包的编号 2.确认号:已经确认接收到的数据的编号(只有当ACK为1时,确认号才有用) TCP为什么安全可靠: 1.在通信前建立三次握手连接 SYN SYNACK ACK SYN是TCP包头的一个字段 tcp.port 端口号 抓包数据 2.在通信过程中通过序…
阅读更多...
使用Apache Kafka的Golang实践指南

使用Apache Kafka的Golang实践指南

您是否在寻找构建可扩展、高性能应用程序的方法&#xff0c;这些应用程序可以实时处理流数据&#xff1f;如果是的话&#xff0c;结合使用Apache Kafka和Golang是一个很好的选择。Golang的轻量级线程非常适合编写类似Kafka生产者和消费者的并发网络应用程序。它的内置并发原语&…
阅读更多...
探索HTTP协议：网络通信的基石

探索HTTP协议：网络通信的基石

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…
阅读更多...
【CSP试题回顾】202109-2-非零段划分

【CSP试题回顾】202109-2-非零段划分

CSP-202109-2-非零段划分 关键点&#xff1a;差分数组 详见&#xff1a;【CSP考点回顾】差分数组 时间复杂度分析 使用差分数组的优势在于&#xff0c;它将问题转化为了在一次遍历中识别并利用关键变化点&#xff08;波峰和波谷&#xff09;&#xff0c;从而避免了对每个可能…
阅读更多...
Mysql中的MVCC

Mysql中的MVCC

”真正学会&#xff0c;如你般自由~“ MVCC机制简介 MVCC(Multi-Version-Concurrency-Control)多版本并发控制&#xff0c;MVCC 是一种并发控制的方法&#xff0c;一般在数据库管理系统中&#xff0c;实现对数据库的并发访问&#xff1b;在编程中实现事务内存。 取自 MVCC存在被…
阅读更多...
某准网招聘接口逆向之WebPack扣取

某准网招聘接口逆向之WebPack扣取

​​​​​逆向网址 aHR0cHM6Ly93d3cua2Fuemh1bi5jb20v 逆向链接 aHR0cHM6Ly93d3cua2Fuemh1bi5jb20vc2VhcmNoP3BhZ2VOdW09MSZxdWVyeT1weXRob24mdHlwZT01 逆向接口 aHR0cHM6Ly93d3cua2Fuemh1bi5jb20vYXBpX3RvL3NlYXJjaC9qb2IuanNvbg 逆向过程 请求方式&#xff1a;GET 参数构成…
阅读更多...
Clickhouse表引擎介绍

Clickhouse表引擎介绍

作者&#xff1a;俊达 1 引擎分类 ClickHouse表引擎一共分为四个系列&#xff0c;分别是Log、MergeTree、Integration、Special。其中包含了两种特殊的表引擎Replicated、Distributed&#xff0c;功能上与其他表引擎正交&#xff0c;根据场景组合使用。 2 Log系列 Log系列…
阅读更多...
k8s-生产级的k8s高可用(1) 24

k8s-生产级的k8s高可用(1) 24

高可用集群 实验至少需要三个master&#xff08;控制节点&#xff09;&#xff0c;一个可以使外部可以访问到master的load balancer&#xff08;负载均衡&#xff09;以及一个或多个外部节点worker&#xff08;也要部署高可用&#xff09;。 再克隆三台主机 清理并重启 配置两…
阅读更多...
LayerNorm的图是不是画错了

LayerNorm的图是不是画错了

这是网上一张很流行的说明几个 Normalization 区别的图 这图出自Kaiming的文章 Group Norm 但是他这个 Layer Norm 的图是不是画错了? 我大四写毕设的时候就想问&#x1f923;&#x1f923;&#x1f923; 这都几年过去了 我觉得图应该是这样画的&#xff0c;相同颜色的区域…
阅读更多...
VSCode搭建ARM开发环境

VSCode搭建ARM开发环境

为了构建Cortex M系列单片机免费开源的开发环境&#xff0c;网络上了解来看VSCODEGCCJLINK是一套比较高效的组合方式&#xff0c;下面记录环境搭建的流程。 我这边的PC环境为 WIN7专业版64bit。 需要用到的工具 Visual Studio CodeSTM32CubemxARM GCC 交叉编译工具链&#x…
阅读更多...
cadence 之 Allegro PCB封装 3D模型

cadence 之 Allegro PCB封装 3D模型

Allegro PCB封装怎样赋3D模型 1、方式一 —— 设置器件高度 2、方式二 —— 指定STEP模型 2.1、Step 3D模型库 2.2、软件环境的设置和 STEP 模型库路径设置 D:\Cadence\Cadence_SPB_17.4-2019\share\local\pcb\step 2.3、指定STEP模型 即可打开 STEP 模型指定的对话框&…
阅读更多...
【理解】STM32一键下载电路

【理解】STM32一键下载电路

1.MCUISP 串口软件一键下载设置&#xff1a; DTR 低电平复位&#xff0c;RTS 高电平进入boot load 串口下载 在ch340 芯片对应DTR 和RTS 输出电平与电脑软件设置的电平相反。 一键下载电路根据ch340 芯片对应引脚的控制信号完成对应功能 具体实现过程如下&#xff1a; 2.单…
阅读更多...
VR数字化线上展馆降低企业投入成本和周期

VR数字化线上展馆降低企业投入成本和周期

VR云展会是一种全新的展览形式&#xff0c;它利用虚拟现实技术&#xff0c;将实体展览搬到线上&#xff0c;让观众可以在家中就能参观各种展览。这种新型的展览方式有许多亮点&#xff0c;下面就来详细介绍一下。 首先&#xff0c;VR云展会打破了地域限制。传统的实体展览通常只…
阅读更多...
WPF 消息提示 类似toast方式

WPF 消息提示 类似toast方式

WPF里面的消息提示一般都是MessageBox.Show()&#xff0c;这种样式不是很好看&#xff0c;所以就想办法重新搞了一个类似弹出消息的功能。原理很简单&#xff0c;就是弹出一个新窗体&#xff0c;然后等几秒窗体自动关闭。 先上效果图&#xff1a; 新建一个MsgHelper.cs类&…
阅读更多...
海外互联网专线主要解决企业哪些办公问题？

海外互联网专线主要解决企业哪些办公问题？

海外互联网专线 是一种专门为跨境企业提供的网络连接服务&#xff0c;旨在解决企业在海外办公过程中遇到的各种网络问题。海外互联网专线如何成为解决企业办公难题的利器&#xff0c;为企业提供稳定、高速的网络连接? 1、跨国远程办公&#xff1a; 随着全球化进程的加速&…
阅读更多...
Android应用界面

Android应用界面

概述&#xff1a;由于学校原因&#xff0c;估计会考&#xff0c;曹某人就浅学一下。 目录 View概念 创建和使用布局文件 相对布局 线性布局 水平线性布局 垂直线性布局 表格布局 帧布局 扁平化布局 Android控件详解 AdapterView及其子类 View概念 安卓中的View是所…
阅读更多...
Codesys.运动控制电子齿轮

Codesys.运动控制电子齿轮

文章目录 一. 电子齿轮概念应用 二. 电子齿轮耦合功能块 2.1. MC_GearIn 2.2. MC_GearInPos 2.3. MC_GearOut 三. 电子齿轮案例 3.1. 样例介绍 3.2. 引入虚轴 3.3. 程序框架 3.4. 程序编写 3.5. 程序监控 一. 电子齿轮概念应用 在很多应用场景中有多个牵引轴每个牵引…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023