搭建RocketMQ主从异步集群

搭建RocketMQ主从异步集群

1、RocketMQ集群模式

  为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成的。RocketMQ官方提供了三种集群搭建方式：

  • 2主2从异步通信方式：使用异步方式进行主从之间的数据复制。吞吐量大，但可能会丢消息。使用conf/2m-2s-async文件夹内的配置文件做集群配置。
  • 2主2从同步通信方式：使用同步方式进行主从之间的数据复制，保证消息安全投递，不会丢失，但影响吞吐量。使用conf/2m-2s-sync文件夹内的配置文件做集群配置。
  • 2从无从方式：会存在单点故障，且读的性能没有前两种方式号。使用conf/2m-noslave文件夹内的配置文件做集群配置。
  • Dledger高可用集群：上述三种官方提供的集群没办法实现高可用，即在master节点挂掉后，slave节点没办法自动被选举为新的master，而需要人工实现。RocketMQ在4.5版本之后引入了第三方的Dledger高可用集群。

2、搭建主从异步集群

2.1 准备三台Linux服务器

三台Linux服务器中NameServer和Broker之间的关系如下：

服务器服务器IPNameServerBroker节点部署
服务器1192.168.159.33192.168.159.33:9876
服务器2192.168.159.34192.168.159.34:9876broker-a(master)，broker-b-s(slave)
服务器3192.168.159.35192.168.159.35:9876broker-b(master)，broker-a-s(slave)

三台服务器都需要安装JDK和RocketMQ，不再赘述。

2.2 启动三台NameServer

  NameServer是一个轻量级的注册中心，Broker把自己的信息注册到NameServer上。而且NameServer是无状态的，直接启动即可。三台NameServer之间不需要通信，而是被请求来关联三台NameServer的地址。

  修改三台服务器的runserver.sh文件，将JVM内存默认的4G改为512M。

image-20240503171610618

  在每台服务器的bin目录下执行如下命令：

  • 服务器1：nohup ./mqnamesrv -n 192.168.159.33:9876 &
  • 服务器2：nohup ./mqnamesrv -n 192.168.159.34:9876 &
  • 服务器3：nohup ./mqnamesrv -n 192.168.159.35:9876 &

2.3 配置Broker

  broker-a，broker-b-s这两台broker是配置在服务器2上，broker-b,broker-a-s这两台broker是配置在服务器3上。这两对主从节点在不同的服务器上，服务器1上没有部署broker。

  需要修改每台broker的配置文件。注意，同一台服务器上的两个broker保存路径不能一样。

  • broker-a的master节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-a.properties文件。

image-20240503172248247

配置如下：

# 所属集群名称
brokerClusterName=DefaultCluster
# broker名字
brokerName=broker-a
# broker所在服务器的ip
brokerIP1=192.168.159.34
# broker的id， 0表示master， >0表示slave
brokerId=0
# 删除文件时间点，默认在凌晨4点
deleteWhen=04
# 文件保留时间为48小时
fileReservedTime=48
# broker的角色为master
brokerRole=ASYNC_MASTER
# 使用异步刷盘的方式
flushDiskType=ASYNC_FLUSH
# 名称服务器的地址列表
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
# 在发送消息自动创建不存在的topic时，默认创建的队列数为4个
defaultTopicQueueNums=4
# 是否允许 Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口
listenPort=10911
# abort文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 消息存储路径
storePathRootDir=/usr/local/rocketmq/store
# commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
# 消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
# checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# 限制的消息大小
maxMessageSize=65536
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
  • broker-a的slave节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-a-s.properties文件，配置如下：

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerIP1=192.168.159.35
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536
  • broker-b的master节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-b.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerIP1=192.168.159.35
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=10911
abortFile=/usr/local/rocketmq/store/abort
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
storePathIndex=/usr/local/rocketmq/store/index
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
maxMessageSize=65536
  • broker-b的slave节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-b-s.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
IP1=192.168.159.34
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536

  修改服务器2和服务器3的runbroker.sh文件，将JVM默认内存大小从8G修改为512M。

image-20240503174155363

2.4 启动Broker

  在服务器2中启动broker-a(master)和broker-b-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &

image-20240503174439431

  在服务器3中启动broker-b(master)和broker-a-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &

image-20240503174842925

3、验证集群

  使用RocketMQ提供的tools工具验证集群是否正常工作。

  • 在服务器上配置环境变量

    用于被tools中的生产者和消费者程序读取该变量。

    export NAMESRV_ADDR='192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876'

  • 启动生产者

    ./tools.sh org.apache.rocketmq.example.quickstart.Producer

    执行之后会看到消息发送。

    image-20240503175212295

  • 启动消费者

    ./tools.sh org.apache.rocketmq.example.quickstart.Consumer

    指定上述命令之后，可以看到消息被消费。

    image-20240503175311382

4、mqadmin管理工具

  RocketMQ提供了命令工具用于管理topic、broker、集群、消息等。

  比如查看下集群的状态：

./mqadmin clusterlist

image-20240503175511451

  比如使用mqadmin创建topic：

./mqadmin updateTopic -n 192.168.159.34:9876 -c DefaultCluster -t myTopic1

image-20240503175617170

  可以看到，topic建立到了DefaultCluster集群下的broker-a(master)和broker-b(master)上边。

  mqadmin的命令比较多，不太好记，下面我们介绍下RocketMQ的可视化管理平台。

5、安装可视化管理控制平台

5.1 RocketMQ-DashBoard安装

  Apache RocketMQ官网提供了两种安装方式，一种是Docker，一种是源码安装。本文采用源码安装方式。

  源码地址：https://github.com/apache/rocketmq-dashboard

  下载并解压，切换至源码目录rocketmq-dashboard-master

image-20240503210111770

  这里在打包之前需要修改下配置文件application.yml

image-20240503210211231

  将NameServer修改为自己集群的地址即可：

image-20240503210251241

  执行打包命令：

mvn clean package -Dmaven.test.skip=true

image-20240503210334166

  将target目录下的jar包上传到虚拟机中，运行jar包：

java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar

image-20240503210444739

访问192.168.159.33:8080

image-20240503210542114

image-20240503210615060

image-20240503210641638

5.2 踩坑的解决方案

  当时maven打包好久都无法成功，后来搜了下注释掉frontend-maven-plugin和maven-antrun-plugin这两个plugin后就成功了。

  还有一个问题是，当时直接在github拉取的rocketmq-dashboard的master分支，打包之后的版本为1.0.1，对应的是rocketmq的5.x版本，如果使用该版本监控rocketmq4.x，会有问题，查看不了topic的状态。

  直接在github上下载1.0.0那个release重新打包即可。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/25897.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

665. 非递减数列（中等）

665. 非递减数列（中等）

665. 非递减数列 1. 题目描述2.详细题解3.代码实现3.1 Python3.2 Java 1. 题目描述 题目中转：665. 非递减数列 2.详细题解 判断在最多改变 1 个元素的情况下，该数组能否变成一个非递减数列，一看到题目，不就是遍历判断有几处不…
阅读更多...
现实转虚拟：Video2Game引领3D互动体验

现实转虚拟：Video2Game引领3D互动体验

在当今数字化时代，虚拟环境的创建对于游戏开发、虚拟现实应用和自动驾驶模拟器等多个领域至关重要。然而，传统的虚拟环境创建过程不仅复杂而且成本高昂，通常需要专业人员和专业软件开发工具的参与。例如，著名的《侠盗猎车手V》以其…
阅读更多...
GUI编程02-布局管理器

GUI编程02-布局管理器

流式布局 FlowLayout 东西南北中 BorderLayout 表格布局 GridLayout 流式布局 package YMP.GUI; ​ import java.awt.*; import java.awt.event.WindowAdapter; import java.awt.event.WindowEvent; ​ public class TestFlowLayout {public static void main(String[] args…
阅读更多...
QSlider样式示例

QSlider样式示例

参考代码： /********************QSlider横向滑动条样式**********************/ QSlider {background-color: rgba(170, 255, 255, 100); /* 设置滑动条主体*/ }QSlider::groove:horizontal {border: 1px solid #999999;height: 8px; /* 默认…
阅读更多...
猫头虎分享已解决Bug || Uncaught TypeError: Cannot set property ‘innerHTML‘ of null**

猫头虎分享已解决Bug || Uncaught TypeError: Cannot set property ‘innerHTML‘ of null**

猫头虎分享已解决Bug || Uncaught TypeError: Cannot set property ‘innerHTML’ of null** 原创作者： 猫头虎 作者微信号： Libin9iOak 作者公众号： 猫头虎技术团队 更新日期： 2024年6月6日 博主猫头虎的技术世界 &#x…
阅读更多...
【InternLM实战营第二期笔记】07：OpenCompass ：是骡子是马，拉出来溜溜

【InternLM实战营第二期笔记】07：OpenCompass ：是骡子是马，拉出来溜溜

文章目录 课程实操 课程 评测的意义是什么呢？我最近也在想。看到这节开头的内容后忽然有个顿悟：如果大模型最终也会变成一种基础工具（类比软件），稳定或可预期的效果需要先于用户感知构建出来，评测 case 就…
阅读更多...
创新案例｜创新实时零售模式，千亿时尚巨头Shein的全球扩张之路

创新案例｜创新实时零售模式，千亿时尚巨头Shein的全球扩张之路

SHEIN，一家估值千亿美元的快时尚电商独角兽，是全球增长最快的服饰平台。它通过数据和平台的双轮驱动，构建了全新的“实时零售”模式，实现了数据与商业的紧密衔接。同时，通过领导力和组织能力建设，打造了独特…
阅读更多...
两句话让LLM逻辑推理瞬间崩溃！！

两句话让LLM逻辑推理瞬间崩溃！！

一道简单的逻辑问题，竟让几乎所有的LLM全军覆没？ 对于人类来说，这个名为「爱丽丝梦游仙境」（AIW）的测试并不算很难—— 「爱丽丝有N个兄弟，她还有M个姐妹。爱丽丝的兄弟有多少个姐妹？」 稍加思考…
阅读更多...
LabVIEW开发实验室超导体电流特性测试系统

LabVIEW开发实验室超导体电流特性测试系统

本系统旨在为学校实验室提供一个基于LabVIEW的超导体电流特性测试平台，通过精确测量超导体在不同温度和电流条件下的电学特性，帮助学生和研究人员深入理解超导体的物理性质。本文将从背景、目标、工作原理、使用方法、操作流程和注意事项等方面详细介绍该…
阅读更多...
汇编语言作业（六）

汇编语言作业（六）

目录 一、实验目的 二、实验内容 三、实验步骤以及结果 四、实验结果与分析 五、实验总结 一、实验目的 掌握加减法运算指令对各状态标志位的影响及测试方法掌握汇编语言长整数的加法的操作方法 二、实验内容 对于以下几组数， 087H和034H 0C2H和5FH 0F3H和0F3H&am…
阅读更多...
「网络原理」三次握手四次挥手

「网络原理」三次握手四次挥手

🎇个人主页：Ice_Sugar_7 🎇所属专栏：计网 🎇欢迎点赞收藏加关注哦！ 三次握手&四次挥手 🍉连接管理🍌三次握手🍌意义🍌四次挥手🍌TCP 状态转换…
阅读更多...
【web本地存储】storage事件，StorageEvent对象介绍

【web本地存储】storage事件，StorageEvent对象介绍

storage事件 Web Storage API 内建了一套事件通知机制，当存储区域的内容发生改变（包括增加、修改、删除数据）时，就会自动触发storage事件，并把它发送给所有感兴趣的监听者，因此，如果需要跟踪存…
阅读更多...
Flink⼤状态作业调优实践指南：状态报错与启停慢篇

Flink⼤状态作业调优实践指南：状态报错与启停慢篇

摘要：本文整理自俞航翔、陈婧敏、黄鹏程老师所撰写的大状态作业调优实践指南。由于内容丰富，本文分享终篇状态报错与启停慢篇，主要分为以下四个部分： 检查点和快照超时的诊断与调优 作业快速启动和扩缩容方案 总结 阿里云企业级…
阅读更多...
creo学习一

creo学习一

设置好当前配置后，导出config配置文件，并覆盖掉此路径下的旧文件，使得新配置永久生效，这样每次打开软件都是新配置的设置： 系统颜色的导出： 打开版本的问题： 不能有弱尺寸： 注意&a…
阅读更多...
分享一个 .NET Core Console 项目中应用 NLog 写日志的详细例子

分享一个 .NET Core Console 项目中应用 NLog 写日志的详细例子

前言 日志在软件开发中扮演着非常重要的角色，通常我们用它来记录应用程序运行时发生的事件、错误信息、警告以及其他相关信息，帮助在调试和排查问题时更快速地定位和解决 Bug。 通过日志，我们可以做到： 故障排除和调试&#xff…
阅读更多...
MySQL普通表转换为分区表实战指南

MySQL普通表转换为分区表实战指南

码到三十五 ： 个人主页 引言 本文将详细指导新手开发者如何将MySQL中的普通表转换为分区表。分区表在处理庞大数据集时展现出显著的性能优势，不仅能大幅提升查询速度，还能有效简化数据维护工作。通过掌握这一技巧能够更好地应对数据密集型应…
阅读更多...
《编程小白变大神：DjangoBlog带你飞越代码海洋》

《编程小白变大神：DjangoBlog带你飞越代码海洋》

还在为你的博客加载速度慢而烦恼？DjangoBlog性能优化大揭秘，让你的网站速度飞跃提升！本文将带你深入了解缓存策略、数据库优化、静态文件处理等关键技术，更有Gunicorn和Nginx的黄金搭档，让你的博客部署如虎添翼。无论你…
阅读更多...
解决阿里云的端口添加安全组仍然无法扫描到

解决阿里云的端口添加安全组仍然无法扫描到

发现用线上的网站扫不到这个端口，这个端口关了，但是没有更详细信息了 我用nmap扫了一下我的这个端口，发现主机是活跃的，但是有防火墙，我们列出云服务器上面的这个防火墙list，发现确实没有5566端口 参考&a…
阅读更多...
大数据解决方案案例：电商平台日志分析

大数据解决方案案例：电商平台日志分析

个人名片 🎓作者简介：java领域优质创作者 🌐个人主页：码农阿豪 📞工作室：新空间代码工作室（提供各种软件服务） 💌个人邮箱：[2435024119qq.com] &#x1f4f1…
阅读更多...
AI作画工具介绍

AI作画工具介绍

目录 1.概述 2.Stable Diffusion 2.1.诞生背景 2.2.版本历史 2.3.优点 2.4.缺点 2.5.应用场景 2.6.未来展望 3.Midjourney 3.1.诞生背景 3.2.版本历史 3.3.优点 3.4.缺点 3.5.应用场景 3.6.未来展望 4.总结 1.概述 AI作画工具是一种运用人工智能技术&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023