【系统运维】Centos部署Haproxy+Keepalived+RabbitMQ高可用集群

1.RabbitMQ高可用集群方案

（1）RabbitMQ搭建集群的作用：提高可用性、可靠性和处理能力，确保系统提供高效的消息传递服务

  • 高可用性：通过集群，即使其中一个节点发生故障，其他节点仍然可以继续提供服务，确保消息的可靠传递。
  • 负载均衡：集群可以将消息负载均匀地分布到多个节点上，提高系统的处理能力，同时避免单个节点过载。
  • 故障恢复：如果集群中的一个节点发生故障，可以通过故障检测和自动恢复机制，将该节点从集群中移除，并将其负载重新分配给其他节点，保证整个系统的连续性和可用性。
  • 扩展性：当消息的产生量和消费量逐渐增加时，可以向集群中添加更多的节点来扩展系统的处理能力，以应对不断增长的负载。

（2）常见的集群方案

  • RabbitMQ普通集群
    • 默认的集群模式, 比如有节点 node1和node2 两个节点是普通集群，但他们仅有相同的元数据,即交换机、队列的结构；
    • 消息只存在其中的一个节点里面，假如消息A，存储在node1节点，消费者连接node1个节点消费消息时，可以直接取出来；
    • 但如果 费者是连接的是其他节点 那rabbitmq会把 queue 中的消息从存储它的节点中取出，并经过连接节点转发后再发送给消费者；
    • 假如node1故障，那node2无法获取node1存储未被消费的消息；
    • 如果node1持久化后故障，那需要等node1恢复后才可以正常消费，如果ndoe1没做持久化后故障，那消息将会丢失；
    • 这个情况无法实现高可用性，且节点间会增加通讯获取消息，性能存在瓶颈；
    • 该模式更适合于消息无需持久化的场景，如日志传输的队列；
  • RabbitMQ镜像集群
    • 队列做成镜像队列，让各队列存在于多个节点中；
    • 和普通集群比较大的区别就是【队列queue的消息message 】会在集群各节点之间同步；
    • 且并不是在 consumer 获取数据时临时拉取，而普通集群则是临时从存储的节点里面拉取对应的数据；
    • 实现了高可用性，部分节点挂掉后，不影响正常的消费；
    • 可以保证100%消息不丢失，推荐3个奇数节点，结合LVS+Keepalive 或 Haproxy进行IP漂移，防止单点故障；
    • 由于镜像队列模式下，消息数量过多，大量的消息同步也会加大网络带宽开销；
    • 适合高可用要求比较高的项目 过多节点的话，性能则更加受影响；

2.RabbitMQ高可用集群架构

在这里插入图片描述

将两个 RabbitMQ 磁盘节点和一个 RabbitMQ内存节点组成一个内建集群，之所以要用两个磁盘节点是防止，唯一的磁盘节点挂掉后，不能重建队列，交换机。用 HAProxy 作为 RabbitMQ 集群的负载均衡。为了防止 HAProxy 单点故障，用 Keepalived 将两个 HAProxy 节点做成一主一备。应用使用 VIP（虚拟IP） 访问 HAProxy 服务时，默认连接主机（Master）的 HAProxy，当主机（Master）上的 HAProxy 故障时，VIP 会漂移到备机（Backup）上，就会连接备机（Backup）上的 HAProxy 服务。

VRRP 协议
VRRP 协议即虚拟路由冗余协议（Virtual Router Redundancy Protocol）。Keepalived 中提供的虚拟 IP 机制就属于 VRRP，它是为了避免路由器出现单点故障的一种容错协议。

3.RabbitMQ高可用集群搭建

（1）机器准备

IP地址主机名备注
192.168.140.101mq01磁盘节点 RabbitMQ
192.168.140.102mq02内存节点 keepalived+haproxy+RabbitMQ
192.168.140.103mq03内存节点 keepalived+haproxy+RabbitMQ

（2）三台机器docker部署RabbitMQ

参数说明：

--hostname：自定义Docker容器的hostname
--privileged=true：使用该参数，container内的root拥有真正的root权限，否则容器出现permission denied
-v：宿主机和容器路径映射
RABBITMQ_ERLANG_COOKIE：Erlang Cookie 值，同一个集群内该值必须相同，相当于不同节点之间通讯的密钥
--add-host：修改容器内部的hosts，添加的集群服务器都需要添加进来
--restart=unless-stopped docker 容器重启后重启MQ
  • 节点一
docker run  -d --hostname rabbitmq1 --add-host=rabbitmq2:192.168.140.102 --add-host=rabbitmq3:192.168.140.103 --restart=unless-stopped --name rabbitmq1 --net host -p 15672:15672  -p 5672:5672 -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin -e RABBITMQ_ERLANG_COOKIE='rabbit_mq'  rabbitmq:management
  • 节点二
docker run  -d --hostname rabbitmq2 --add-host=rabbitmq1:192.168.140.101 --add-host=rabbitmq3:192.168.140.103 --restart=unless-stopped --name rabbitmq2 --net host -p 15672:15672  -p 5672:5672 -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin -e RABBITMQ_ERLANG_COOKIE='rabbit_mq'  rabbitmq:management
  • 节点三
docker run  -d --hostname rabbitmq3 --add-host=rabbitmq1:192.168.140.101 --add-host=rabbitmq2:192.168.140.102 --restart=unless-stopped --name rabbitmq3 --net host -p 15672:15672  -p 5672:5672 -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin -e RABBITMQ_ERLANG_COOKIE='rabbit_mq'  rabbitmq:management
  • 节点一配置集群。
docker exec -it rabbitmq1 bash
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
exit
  • 节点二加入集群，–ram是以内存方式加入,忽略该参数默认为磁盘节点。
docker exec -it rabbitmq2 bash
rabbitmqctl stop_app
rabbitmqctl join_cluster --ram rabbit@rabbitmq1
rabbitmqctl start_app
exit
  • 节点三加入集群，–ram是以内存方式加入,忽略该参数默认为磁盘节点。
docker exec -it rabbitmq3 bash
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq1
rabbitmqctl start_app
exit

在这里插入图片描述

  • 查看集群节点状态,配置启动了3个节点，1个磁盘节点和2个内存节点。
rabbitmqctl cluster_status
  • 内存节点（ram）：将元数据都放在内存里，内存节点的话，只要服务重启，该节点的所有数据将会丢失。
  • 硬盘节点（disc）：将元数据都放在硬盘里，所以服务重启的话，数据也还是会存在的。

在这里插入图片描述

（3）搭建镜像集群

  • 前面搭建了普通集群，如果磁盘节点挂掉后，如果没开启持久化数据就丢失了，其他节点也无法获取消息。
  • 所以我们这个集群方案需要进一步改造为镜像模式集群。
  • rabbitmq的策略policy是用来控制和修改集群的vhost，队列和Exchange复制行为，就是要设置哪些Exchange或者queue的数据需要复制、同步，以及如何复制同步。

配置步骤：rabbitmq管理页面 —> Admin —> Policies —> Add / update a policy

在这里插入图片描述

策略会同步同一个VirtualHost中的交换器和队列数据

  • name：自定义策略名称
  • Pattern：^ 匹配符，代表匹配所有
  • Definition：ha-mode=all 为匹配类型，分为3种模式：all（表示所有的queue）
  • ha-mode: 指明镜像队列的模式，可选下面的其中一个
    • all：表示在集群中所有的节点上进行镜像同步（一般都用这个参数）
    • exactly：表示在指定个数的节点上进行镜像同步，节点的个数由ha-params指定
    • nodes：表示在指定的节点上进行镜像同步，节点名称通过ha-params指定
    • ha-sync-mode：镜像消息同步方式 automatic（自动），manually（手动）

在这里插入图片描述
在这里插入图片描述

策略会同步同一个VirtualHost中的交换器和队列数据，在MQ节点一上创建队列，同步到各个节点。

在这里插入图片描述

集群重启顺序：

  • 集群重启的顺序是固定的，并且是相反的
  • 启动顺序：磁盘节点 => 内存节点
  • 关闭顺序：内存节点 => 磁盘节点
  • 最后关闭必须是磁盘节点，否则容易造成集群启动失败、数据丢失等异常情况

4.Haproxy高可用集群搭建

（1）MQ集群的架构痛点

  • 搭建了RabbitMQ高可用集群，生产者和消费者，业务代码里面需要写多个节点配置信息。

  • 如果某个节点挂了，或者新增了多个节点，多个业务程序都需要重启更新配置信息。

  • 可以利用Haproxy在RabbitMQ中充当负载均衡器的角色，提供负载均衡、故障转移、可靠性和可用性增强以及动态伸缩等功能。

在这里插入图片描述

（2）创建配置文件

分别在102和103节点上创建目录/usr/local/haproxy

创建配置文件haproxy.cfg

#增加下面配置文件
globallog 127.0.0.1 local0 infomaxconn 10240daemondefaultslog globalmode httptimeout connect 3000 timeout client 3000timeout server 3000timeout check 2000listen  admin_stats#haproxy监控界面的访问的IP和端口    bind  0.0.0.0:8081mode        httpstats uri   /statsstats realm     Global\ statistics#haproxy登陆帐户信息stats auth  admin:adminlisten rabbitmq_admin#rabbit的监控页面bind    0.0.0.0:8082server  rabbit_admin1 192.168.140.101:15672server  rabbit_admin2 192.168.140.102:15672server  rabbit_admin3 192.168.140.103:15672listen haproxy#对外提供的端口，spring boot连接mq的端口bind 0.0.0.0:8091option tcplogmode tcpbalance roundrobinserver rabbitmq1 192.168.140.101:5672 check inter 5000 rise 2 fall 2server rabbitmq2 192.168.140.102:5672 check inter 5000 rise 2 fall 2server rabbitmq3 192.168.140.103:5672 check inter 5000 rise 2 fall 2

配置文件详解

全局配置部分（global）：- 设置日志输出目标为本地地址 `127.0.0.1` 的 `local0` 日志设备，并设置日志级别为 `info`。- 设置最大连接数为 `10240`。- 启用后台运行模式。
默认配置部分（defaults）：- 设置日志输出为全局设定的日志设备。- 指定工作模式为HTTP模式。- 设置连接超时时间为 `3000` 毫秒。- 设置客户端超时时间为 `3000` 毫秒。- 设置服务器超时时间为 `3000` 毫秒。- 设置健康检查超时时间为 `2000` 毫秒。
`admin_stats` 监听器：- 监听 `0.0.0.0:8081` 地址和端口。- 使用HTTP模式。- 设置监控统计信息的路径为 `/stats`。- 设置统计信息页面的显示名称为 `Global statistics`。- 设置访问统计信息页面的认证用户名和密码为 `admin:xdclass.net168`。
`rabbitmq_admin` 监听器：- 监听 `0.0.0.0:8082` 地址和端口。- 配置了三个RabbitMQ管理节点。- 每个节点的名称和地址:端口为 `rabbit_admin1 120.24.7.58:15672`、`rabbit_admin2 120.24.7.58:15673` 和 `rabbit_admin3 120.24.7.58:15674`。
`haproxy` 监听器：- 监听 `0.0.0.0:5666` 地址和端口。- 启用TCP日志记录。- 使用TCP模式。- 使用轮询算法进行负载均衡。- 配置了三个RabbitMQ节点。- 每个节点的名称和地址:端口为 `rabbitmq1 120.24.7.58:5672`、`rabbitmq2 120.24.7.58:5673` 和 `rabbitmq3 120.24.7.58:5674`。- 设置了健康检查的参数：每5000毫秒检查一次，如果连续2次检查成功就认为节点上线，如果连续2次检查失败则认为节点宕机。

两台机器分别启动haproxy

docker run -d -i --name haproxy-rabbitmq -p 8081:8081 -p 8091:8091 -p 8082:8082 -v /usr/local/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg --privileged=true -u root  haproxy:latest

访问路径

  • Haproxy: http://192.168.140.103:8081/stats,http://192.168.140.102:8081/stats
  • RabbitMQ管控台：http://192.168.140.102:8082,http://192.168.140.103:8082

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

5.Keepalived高可用集群搭建

（1）102和103节点分别下载Keepalived

#yum安装
yum -y install keepalived

（2）编辑配置文件

! Configuration File for keepalived
global_defs {router_id LVS_DEVEL # 设置lvs的id，在一个网络内应该是唯一的enable_script_security #允许执行外部脚本
}
#配置vrrp_script，主要用于健康检查及检查失败后执行的动作。
vrrp_script chk_real_server {weight -5fall 3rise 2user root
}
vrrp_instance VI_1 {#配置节点是master还是backup，102配置MASTER，103配置BACKUPstate MASTERinterface ens33virtual_router_id 51priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}#配置虚拟IPvirtual_ipaddress {192.168.140.100}
}
virtual_server 192.168.140.100 8082 {# 设置健康检查时间，单位是秒delay_loop 6# 设置负载调度的算法为rrlb_algo rr# 设置LVS实现负载的机制，有NAT、TUN、DR三个模式lb_kind NAT# 会话保持时间persistence_timeout 50#指定转发协议类型(TCP、UDP)protocol TCP# 指定real server1的IP地址real_server 192.168.140.102 8082 {weight 1}real_server 192.168.140.103 8082 {weight 1}
}

（3）启动keepalived，访问MQ集群

systemctl start keepalived.service

在这里插入图片描述

Ok，发现已经成功的通过keepalived访问mq节点。

当我们把102主节点的keepalived停掉时，虚拟IP会漂移到103的节点上。

在这里插入图片描述

OK，至此RabbitMQ高可用集群就已经搭建完成了。

记得给博主三连哦！！！
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/194195.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

粉丝提问：岗位与描述不一致，小公司感觉学不到东西，工作内容就是调试，想辞职

粉丝提问：岗位与描述不一致，小公司感觉学不到东西，工作内容就是调试，想辞职

0、粉丝问题： 大哥，我毕业已经工作两个月了，在一家小公司，岗位和描述的不一致，感觉就像调试一样，写代码的机会很少也没人带， 我想转嵌入式，您有什么建议的方向吗，或者是…
阅读更多...
【异常】捕获线程池执行任务时产生的异常

【异常】捕获线程池执行任务时产生的异常

前言： 在编写程序时，我们为了充分利用多核CPU、加快接口响应速度，通常会使用线程池来处理请求，但线程池执行任务过程中难免会出现异常，导致请求失败。那如果我们想在任务发生异常后捕获异常，并做一些”善后…
阅读更多...
12.03 二叉树简单题2

12.03 二叉树简单题2

257. 二叉树的所有路径 给你一个二叉树的根节点 root ，按 任意顺序 ，返回所有从根节点到叶子节点的路径。 叶子节点 是指没有子节点的节点。 示例 1： 输入：root [1,2,3,null,5] 输出：["1->2->5",&q…
阅读更多...
Matlab数学建模详解之发电机的最佳调度实现

Matlab数学建模详解之发电机的最佳调度实现

🔗 运行环境：Matlab、Python 🚩 撰写作者：左手の明天 🥇 精选专栏：《python》 🔥 推荐专栏：《算法研究》 #### 防伪水印——左手の明天 #### 💗 大家好🤗&am…
阅读更多...
智能优化算法应用：基于原子搜索算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于原子搜索算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于原子搜索算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于原子搜索算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.原子搜索算法4.实验参数设定5.算法结果6.参考…
阅读更多...
主键虽两个字，但含义丰富；创建新表，Access会自动创建主键，但也可以手动设置

主键虽两个字，但含义丰富；创建新表，Access会自动创建主键，但也可以手动设置

主键是一种特殊类型的索引字段，用于唯一标识表中的每个记录或行。每个主键值必须是表中唯一一个此类主键值。创建新表时，Access会自动创建具有字段名ID和自动编号数据类型的主键。 你需要了解的有关主键的一些信息 一个表只能有一个主键。 主键字段中…
阅读更多...
DevEco Studio设置背景图片

DevEco Studio设置背景图片

我们打开编辑器 左上角菜单 选择 File 下的 Settings 我们选择首选项 Appearance 8 Behavior 下的 Appearance 右侧界面 点击下面的 Background lmage… 新弹出的这个窗口 我们可以鼠标 拖拽它的边 把他拉大一点 当前 我们代码中是没有背景图片的 我们点击入下图指向的三个…
阅读更多...
Sun Apr 16 00:00:00 CST 2023格式转换

Sun Apr 16 00:00:00 CST 2023格式转换

Date date new Date(); log.info("当前时间为:{}",date); //yyyy-MM-dd HH:mm:ss SimpleDateFormat sdf new SimpleDateFormat(DateUtils.YYYY_MM_DD_HH_MM_SS); String dateTime s…
阅读更多...
unity3d 自定义的图片无法放入source image中

unity3d 自定义的图片无法放入source image中

须将图片的texture type改为 sprite
阅读更多...
leetCode 51.皇后 + 回溯算法 + 图解 + 笔记

leetCode 51.皇后 + 回溯算法 + 图解 + 笔记

按照国际象棋的规则，皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。n 皇后问题 研究的是如何将 n 个皇后放置在 nn 的棋盘上，并且使皇后彼此之间不能相互攻击。给你一个整数 n ，返回所有不同的 n 皇后问题 的解决方案。每一种解法包…
阅读更多...
SpringBoot MyBatis连接数据库 查询数据(注解方式)

SpringBoot MyBatis连接数据库 查询数据(注解方式)

创建项目时选择依赖 配置数据库连接 在resources中的 application.properties 配置文件进行连接的配置 #驱动名称 spring.datasource.driver-class-namecom.mysql.cj.jdbc.Driver#连接地址 spring.datasource.urljdbc:mysql://10.20.22.11:26954/canteen#数据库用户名 spring.d…
阅读更多...
Docker下搭建MySQL主从复制

Docker下搭建MySQL主从复制

目录 主从复制简介 主从复制搭建 主从复制简介 主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库，主数 据库一般是准实时的业务数据库。 主从复制的作用 做数据的热备。作为后备数据库，主数据库服务器故…
阅读更多...
Spring Task 定时任务框架

Spring Task 定时任务框架

Spring Task Spring Task 是Spring框架提供的任务调度工具，可以按照约定的时间自动执行某个代码逻辑。 定位：定时任务框架 作用：定时自动执行某段Java代码 Spring Task使用步骤 1). 导入maven坐标 spring-context（已存在&#xff…
阅读更多...
DLL缺失

DLL缺失

DLL缺失 参考链接： 方法五，亲测有用
阅读更多...
VLAN实验

VLAN实验

题目要求 1.PC1和PC3所在接口为Access接口 2.PC2/4/5/6处于同一网段，其中PC2可以访问PC4/5/6PC4可以访问PC5,但不能访问PC6PC5不能访问PC6 3.PC1/3与PC2/4/5/6不在同一网段 4.所有PC通过DHCP获取IP地址，且PC1/3可以正常访问PC2/4/5/6题目分析 1.将交换…
阅读更多...
Spring MVC学习随笔-控制器(Controller)开发详解：控制器跳转与作用域（二）视图模板、静态资源访问

Spring MVC学习随笔-控制器(Controller)开发详解：控制器跳转与作用域（二）视图模板、静态资源访问

学习视频：孙哥说SpringMVC：结合Thymeleaf，重塑你的MVC世界！｜前所未有的Web开发探索之旅 衔接上文Spring MVC学习随笔-控制器(Controller)开发详解：控制器跳转与作用域（一） SpingMVC中…
阅读更多...
基于SSM的职业高中智慧作业试题系统设计

基于SSM的职业高中智慧作业试题系统设计

末尾获取源码 开发语言：Java Java开发工具：JDK1.8 后端框架：SSM 前端：JSP 数据库：MySQL5.7和Navicat管理工具结合 服务器：Tomcat8.5 开发软件：IDEA / Eclipse 是否Maven项目：是 一、…
阅读更多...
Linux 系统渗透提权-Server2204

Linux 系统渗透提权-Server2204

B-3：Linux 系统渗透提权 任务环境说明： 服务器场景：Server2204（关闭链接） 用户名：hacker 密码：123456 1.使用渗透机对服务器信息收集，并将服务器中 SSH 服务端口号作为 flag 提 交； Flag：2283/tcp
阅读更多...
YOLOv5改进 | 添加ECA注意力机制 + 更换主干网络之ShuffleNetV2

YOLOv5改进 | 添加ECA注意力机制 + 更换主干网络之ShuffleNetV2

前言：Hello大家好，我是小哥谈。本文给大家介绍一种轻量化部署改进方式，即在主干网络中添加ECA注意力机制和更换主干网络之ShuffleNetV2，希望大家学习之后，能够彻底理解其改进流程及方法~！🌈 目…
阅读更多...
个人博客搭建保姆级教程-服务器篇

个人博客搭建保姆级教程-服务器篇

如果想要直接使用阿里云，将个人博客部署到公网上，可以看下第一部分的服务器选购。如果使用虚拟机的话，直接看第二部分即可。 一、阿里云服务器购买 可以考虑使用推广链接 云服务器ECS省钱攻略 购买， 点击立即购买之后选择 更多配…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023