管理集群工具之LVS

集群概念

• 将很多机器组织在一起，作为一个整体对外提供服务
• 集群在扩展性、性能方面都可以做到很灵活
• 集群分类
  • 负载均衡集群：Load Balance
  • 高可用集群：High Availability
  • 高性能计算：High Performance Computing

LVS

• LVS：Linux Virtual Server，Linux虚拟服务器
• 实现负载均衡集群
• 作者：章文嵩。国防科技大学读博士期间编写
• LVS的工作模式
  • NAT：网络地址转换
  • DR：路由模式
  • TUN：隧道模式
• 术语
  • 调度器：LVS服务器
  • 真实服务器：提供服务的服务器
  • VIP：虚拟地址，提供给用户访问的地址
  • DIR：指定地址，LVS服务器上与真实服务器通信的地址
  • RIP：真实地址，真实服务器的地址
• 常见的调度算法，共10个，常用的有4个
  • 轮巡rr：真实服务器轮流提供服务（一共有两台服务器，第一个给A，第二个给B，第三个再给A…）
  • 加权轮巡wrr：根据服务器性能设置权重，权重大的服务器得到分配的请求就越多
  • 最少连接lc：根据真实服务器的连接数分配请求，优先分配连接少的
  • 加权最少连接wlc：类似wrr，根据权重分配请求
• ipvsadm使用说明
  • -A：添加虚拟服务器
  • -E：编辑虚拟服务器
  • -D：删除虚拟服务器
  • -t：添加tcp服务器
  • -u：添加udp服务器
  • -s：指定调度算法。如轮巡rr、加权轮巡wrr、最小连接lc、加权最小连接wlc
  • -a：添加虚拟服务器后，向虚拟服务器中加入真实服务器
  • -r：指定真实服务器
  • -w：设置权重
  • -m：指定工作模式为NAT
  • -g：指定工作模式为DR

配置LVS NAT模式

• NAT模式：通过lvs服务器来接收用户的请求，然后通过调度算法分配请求到真实服务器，然后真实服务器返回数据给lvs服务器，再有lvs服务器返回给用户

• client：eth0->192.168.88.10，gateway->192.168.88.5
• lvs：eth0->192.168.88.5；eth1->192.168.99.5
• web1：eth0->192.168.99.100，gateway->192.168.99.5
• web2：eth0->192.168.99.200，gateway->192.168.99.5

环境准备

• client

# 设置ip
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.88.10/24 ipv4.gateway 192.168.88.5 connection.autoconnect yes# 启动
nmcli connection up eth0

• lvs

# 设置eth0的ip
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.88.5/24 connection.autoconnect yes# 启动
nmcli connection up eth0# 设置eth1的ip
nmcli connection modify eth1 ipv4.method manual ipv4.addresses 192.168.99.5/24 connection.autoconnect yes# 启动
nmcli connection up eth1# 查看ip转发功能的内核参数
sysctl -a  # 这是查看所有的内核参数
sysctl -a | grep ip_forward
# net.ipv4.ip_forward = 0    # 1表示打开转发，0表示关闭转发# 永久打开ip_forward功能，可以使client和web1、web2互通
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf 
sysctl -p

• web1

# 设置ip
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.99.100/24 ipv4.gateway 192.168.99.5 connection.autoconnect yes# 启动
nmcli connection up eth0# 安装httpd，并启动
yum install -y httpd
systemctl enable httpd --now
echo "web1" > /var/www/html/index.html

• web2

# 设置ip
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.99.200/24 ipv4.gateway 192.168.99.5 connection.autoconnect yes# 启动
nmcli connection up eth0# 安装httpd，并启动
yum install -y httpd
systemctl enable httpd --now
echo "web1" > /var/www/html/index.html

相关配置

• lvs服务器

# 安装lvs
yum install -y ipvsadm# 创建虚拟服务器，使用轮巡rr调度算法
ipvsadm -A -t 192.168.88.5:80 -s rr# 添加RIP
ipvsadm -a -t 192.168.88.5:80 -r 192.168.99.100 -m
ipvsadm -a -t 192.168.88.5:80 -r 192.168.99.200 -m# 查看配置
ipvsadm -Ln# 此时使用client访问192.168.88.5:80，效果是web1:web2，比例是1:1# 删除配置，使用加权轮巡wrr
ipvsadm -D -t 192.168.88.5:80 -s wrr
ipvsadm -a -t 192.168.88.5:80 -r 192.168.99.100 -w 1 -m
ipvsadm -a -t 192.168.88.5:80 -r 192.168.99.200 -w 2 -m# 此时使用client访问192.168.88.5:80，效果是web1:web2，比例是1:2

配置LVS DR模式

• DR模式相比于NAT模式，它不会因为lvs服务器的带宽而影响业务
• DR模式：通过lvs服务器来接收请求，然后分配请求到真实服务器，然后通过真实服务器的虚拟网卡直接返回给用户

• client：eth0->192.168.88.10
• lvs：eth0->192.168.88.5；eth0:0->192.168.88.15
• web1：eth0->192.168.88.100；lo:0->192.168.88.15/32
• web2：eth0->192.168.88.200；lo:0->192.168.88.15/32

环境准备

• client相比与上一个实验无需操作
• lvs

# 删除eth1网卡
nmcli connection delete eth1# 修改eth0，将ipv6那部分都删除，不然配置eth0:0的时候会报错ipv6冲突
vim ifcfg-eth0
# 文件内容如下，#后面的不用加入
TYPE=Ethernet  # 以太网
BOOTPROTO=none  # dhcp/none/static，none和static代表静态配置
NAME=eth0  # 为设备重命名
DEVICE=eth0  # 网卡设备名
ONBOOT=yes  # 开机激活
IPADDR=192.168.88.5  # ip
PREFIX=24  # 子网掩码
GATEWAY=192.168.88.254  # 网关# 重启网卡
ifdown eth0; ifup eth0# 配置eth0:0，这里使用的是直接修改网卡配置文件的方法
cd /etc/sysconfig/network-scripts/
cp ifcfg-eth0 ifcfg-eth0:0
vim ifcfg-eth0:0
# 文件内容如下
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0:0
DEVICE=eth0:0
ONBOOT=yes
IPADDR=192.168.88.15
PREFIX=24# 重启网卡
ifdown eth0:0; ifup eth0:0# 查看是否成功
ifconfig

• web1

cd /etc/sysconfig/network-scripts/
# 修改eth0网络
vim ifcfg-eth0
# 文件内容如下
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.88.200
PREFIX=24
GATEWAY=192.168.88.254# 重启网卡（虚拟机情况下，修改完ip之后，记得修改一下网卡的连接，不然会连不上）
ifdown eth0; ifup eth0# 添加lo:0网卡
cp ifcfg-eth0 ifcfg-lo:0
# 文件内容如下
TYPE=Ethernet
BOOTPROTO=none
NAME=lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.88.15
PREFIX=32  # 这里掩码一定是32位，因为这个是一个虚拟地址# 重启网卡
ifdown lo:0; ifup lo:0# 查看是否生效
ifconfig# 配置内核参数，使它不响应192.168.88.15的请求（这一步很重要）
vim /etc/sysctl.conf
# 文件内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2# 重新加载内核
sysctl -p

• web2

cd /etc/sysconfig/network-scripts/
# 修改eth0网络
vim ifcfg-eth0
# 文件内容如下
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.88.100
PREFIX=24
GATEWAY=192.168.88.254# 重启网卡（虚拟机情况下，修改完ip之后，记得修改一下网卡的连接，不然会连不上）
ifdown eth0; ifup eth0# 添加lo:0网卡
cp ifcfg-eth0 ifcfg-lo:0
# 文件内容如下
TYPE=Ethernet
BOOTPROTO=none
NAME=lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.88.15
PREFIX=32  # 这里掩码一定是32位，因为这个是一个虚拟地址# 重启网卡
ifdown lo:0; ifup lo:0# 查看是否生效
ifconfig# 配置内核参数，使它不响应192.168.88.15的请求（这一步很重要）
vim /etc/sysctl.conf
# 文件内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2# 重新加载内核
sysctl -p

相关配置

• lvs服务器

# 清除之前的配置
ipvsadm -D -t 192.168.88.5:80# 创建虚拟服务器，使用的调度算法是最少连接lc
ipvsadm -A -t 192.168.88.15:80 -s lc# 向虚拟服务器中添加真实服务器（注意这里是-g，设置了权重是不影响的，因为使用的是lc，这里是为了下面演示修改虚拟服务器的调度算法）
ipvsadm -a -t 192.168.88.15:80 -r 192.168.88.100 -w 100 -g
ipvsadm -a -t 192.168.88.15:80 -r 192.168.88.200 -w 200 -g# 此时使用client访问192.168.88.15:80，效果是web1:web2，比例是1:1# 修改虚拟服务器的调度算法为wlc
ipvsadm -E -t 192.168.88.15:80 -s wlc# 查看配置
ipvsadm -Ln# 此时使用client访问192.168.88.15:80，效果是web1:web2，比例是1:2