二、使用DockerCompose部署RocketMQ

使用DockerCompose进行部署

RocketMQ的部署方式以及各自的特点

  • 单master模式

    只有一个 master 节点，如果master节点挂掉了，会导致整个服务不可用，线上不宜使用，适合个人学习使用。

  • 多master模式

    和kafka不一样，RocketMQ中并没有 master 选举功能，在RocketMQ集群中，1台机器只能要么是Master，要么是Slave，这个在初始的机器配置里面，就定死了的。

    不会像kafka那样存在master动态选举，所以通过配置多个master节点来保证RocketMQ的高可用。

    多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。

    **优点：**高可用，所有模式中性能最高

    **缺点：**可能会有少量消息丢失（配置相关），单台机器重启或宕机期间，该机器下未被消费的消息在机器恢复前不可订阅，影响消息实时性

    **注意：**使用同步刷盘可以保证消息不丢失，同时 Topic 相对应的 queue 应该分布在集群中各个 master节点，而不是只在某各 master 节点上，否则，该节点宕机会对订阅该 topic 的应用造成影响。

  • 多master多slave异步复制模式

    在多 master 模式的基础上，每个 master 节点都有至少一个对应的 slave。

    master 节点可读可写，但是 slave 只能读不能写，类似于 mysql 的主备模式。

    优点： 在 master 宕机时，消费者可以从 slave 读取消息，消息的实时性不会受影响，性能几乎和多 master 一样。

    **缺点：**使用异步复制的同步方式有可能会有消息丢失的问题。

  • 多master多slave 同步复制模式

    同多 master 多 slave 异步复制模式类似，区别在于 master 和 slave 之间的数据同步方式。

    **优点：**同步双写的同步模式能保证数据不丢失。

    **缺点：**发送单个消息 RT 会略长，性能相比异步复制低10%左右。

    **刷盘策略：**同步刷盘和异步刷盘（指的是节点自身数据是同步还是异步存储）

    注意：要保证数据可靠，需采用同步刷盘和同步双写的方式，但性能会较其他方式低。

单Master模式进行部署

部署列表

组件端口数量
nameserver98761
master10911、109121
rocketmq-console90011

配置文件

broker.conf

brokerClusterName = rocketmq-cluster
brokerName = broker-strand
brokerId = 0
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
#一天删除一次文件的操作，代表凌晨四点进行删除
deleteWhen = 04
#在磁盘上保存消息的时长  48小时
fileReservedTime = 48
# 当前broker所处的角色
brokerRole = ASYNC_MASTER
# 磁盘的刷新方式
flushDiskType = ASYNC_FLUSH
# namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10911#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

DockerCompose部署文件

version: '3.5'
services:nameserver-stand:image: apacherocketmq/rocketmq:4.6.0container_name: nameserver-standports: - 9876:9876environment:TZ: Asia/ShanghaiJAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      volumes:- ./nameserver/logs:/home/rocketmq/logs- ./nameserver/store:/home/rocketmq/storecommand: sh mqnamesrvnetworks:rmq:aliases:- nameserverbroker-stand:image: apacherocketmq/rocketmq:4.6.0container_name: broker-standuser:root:rootports:- 10911:10911- 10912:10912depends_on:- nameserveravolumes:- ./broker/logs:/root/logs- ./broker/store:/root/store- ./broker/conf/broker.conf:/opt/rocketmq-4.6.0/conf/broker.confenvironment:TZ: Asia/ShanghaiNAMESRV_ADDR: "nameserver:9876"JAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m" command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &links:- nameserver:nameservernetworks:rmq:aliases:- rmqbrokerrmqconsole-stand:image: styletang/rocketmq-console-ngcontainer_name: rmqconsole-standports:- 9001:9001environment:TZ: Asia/ShanghaiJAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      environment:JAVA_OPTS: "-Drocketmq.namesrv.addr=172.16.15.220:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false -Dserver.port=9001" networks:rmq:aliases:- rmqconsole
networks:rmq:name: rmqdriver: bridge

多Master多Slave的Async形式部署

部署列表

组件角色端口个数
nameserver注册中心9876、98772
master-a主节点a10911、109121
slave-1-a主节点a的从节点10921、109221
master-b主节点b10931、109321
slave-1-b主节点b的从节点10941、109421

配置文件

搭建集群模式，需要注意以下配置文件的配置项

  • brokerName：将各个master进行区分，名称一样的master和slave归属一类

  • brokerId：master与slave区分，为0代表master，>0代表slave

  • brokerRole：代表master与slave之间的数据传输方式，以及定位该broker是否为slave

    ASYNC_MASTER 异步复制；SYNC_MASTER 同步复制；从节点必须配置为SLAVE

  • master-a.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-a
brokerId = 0
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
# 控制master与slave的通信模式，ASYNC_MASTER 异步复制；SYNC_MASTER 同步复制；SLAVE 表示从节点
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10911#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

  • slave-1-a.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-a
brokerId = 1
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10921#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

  • master-b.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-b
brokerId = 0
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
# 控制master与slave的通信模式，ASYNC_MASTER 异步复制；SYNC_MASTER 同步复制；SLAVE 表示从节点
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10931#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

  • slave-1-b.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-b
brokerId = 1
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10941#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

DockerCompose部署文件参考

version: '3.5'
services:nameserver-a:image: apacherocketmq/rocketmq:4.6.0container_name: nameserver-aports: - 9876:9876environment:TZ: Asia/ShanghaiJAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      volumes:- ./nameserver-a/logs:/home/rocketmq/logs- ./nameserver-a/store:/home/rocketmq/storecommand: sh mqnamesrvnetworks:rmq-cluster:aliases:- nameserver-anameserver-b:image: apacherocketmq/rocketmq:4.6.0container_name: nameserver-bports: - 9877:9876volumes:- ./nameserver-b/logs:/home/rocketmq/logs- ./nameserver-b/store:/home/rocketmq/storecommand: sh mqnamesrvenvironment:TZ: Asia/ShanghaiJAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      networks:rmq-cluster:aliases:- nameserver-abroker-a:image: apacherocketmq/rocketmq:4.6.0container_name: broker-auser:root:rootports:- 10911:10911- 10912:10912volumes:- ./broker-a/logs:/root/logs- ./broker-a/store:/root/store- ./broker-a/conf/broker-a.conf:/opt/rocketmq-4.6.0/conf/broker.confenvironment:TZ: Asia/ShanghaiNAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"JAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m" command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &links:- nameserver-a:nameserver-a- nameserver-b:nameserver-bnetworks:rmq-cluster:aliases:- broker-aslave-1-a:image: apacherocketmq/rocketmq:4.6.0container_name: slave-1-auser:root:rootports:- 10921:10921- 10922:10922volumes:- ./slave-1-a/logs:/root/logs- ./slave-1-a/store:/root/store- ./slave-1-a/conf/slave-1-a.conf:/opt/rocketmq-4.6.0/conf/broker.confenvironment:TZ: Asia/ShanghaiNAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"JAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m" command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &links:- nameserver-a:nameserver-a- nameserver-b:nameserver-bnetworks:rmq-cluster:aliases:- slave-1-abroker-b:image: apacherocketmq/rocketmq:4.6.0container_name: broker-buser:root:rootports:- 10931:10931- 10932:10932volumes:- ./broker-b/logs:/root/logs- ./broker-b/store:/root/store- ./broker-b/conf/broker-b.conf:/opt/rocketmq-4.6.0/conf/broker.confenvironment:TZ: Asia/ShanghaiNAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"JAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms256m -Xmx512m -Xmn128m"command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &links: - nameserver-a:nameserver-a- nameserver-b:nameserver-bnetworks:rmq-cluster:aliases:- broker-bslave-1-b:image: apacherocketmq/rocketmq:4.6.0container_name: slave-1-buser:root:rootports:- 10941:10941- 10942:10942volumes:- ./slave-1-b/logs:/root/logs- ./slave-1-b/store:/root/store- ./slave-1-b/conf/slave-1-b.conf:/opt/rocketmq-4.6.0/conf/broker.confenvironment:TZ: Asia/ShanghaiNAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"JAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms256m -Xmx512m -Xmn128m"command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &links: - nameserver-a:nameserver-a- nameserver-b:nameserver-bnetworks:rmq-cluster:aliases:- slave-1-brmqconsole:image: styletang/rocketmq-console-ngcontainer_name: rmqconsoleports:- 9001:9001environment:TZ: Asia/ShanghaiJAVA_OPTS: "-Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      environment:JAVA_OPTS: "-Drocketmq.namesrv.addr=172.16.15.220:9876;172.16.15.220:9877 -Dcom.rocketmq.sendMessageWithVIPChannel=false -Dserver.port=9001" networks:rmq-cluster:aliases:- rmqconsole
networks:rmq-cluster:name: rmq-clusterdriver: bridge

部署问题

使用docker部署broker时，启动失败报：253错误码

解决方案：

  1. 使用用户标签：user，将用户指向root
  2. 映射容器存储路径改为：/root/store

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/106181.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vue3 状态管理pinia

vue3 状态管理pinia

1. 什么是Pinia Pinia 是 Vue 的专属的最新状态管理库 ，是 Vuex 状态管理工具的替代品 特点优势: 提供更加简单的API(去掉了mutation)提供符合组合式风格的API(和Vue3新语法统一)去掉modules的概念,每一个store都是一个独立的模块配合TypeScript更加友好,提供可靠的…
阅读更多...
网站的常见攻击与防护方法

网站的常见攻击与防护方法

在互联网时代，几乎每个网站都存在着潜在的安全威胁。这些威胁可能来自人为失误，也可能源自网络犯罪团伙所发起的复杂攻击。无论攻击的本质如何，网络攻击者的主要动机通常是谋求经济利益。这意味着无论您经营的是电子商务项目还是小型商业网站…
阅读更多...
【Redis】Set集合相关的命令

【Redis】Set集合相关的命令

目录 命令SADDSMEMBERSSISMEMBERSCARDSPOPSMOVESREMSINTERSINTERSTORESUNIONSUNIONSTORESDIFFSDIFFSTORE 命令 SADD 将⼀个或者多个元素添加到set中。注意，重复的元素⽆法添加到set中。 SADD key member [member ...]SMEMBERS 获取⼀个set中的所有元素&#xff0…
阅读更多...
vector Autosar someip和vsomeip协议调试总结

vector Autosar someip和vsomeip协议调试总结

someip是现代车辆通信的主流通信协议知一； someip的主要涉及模型以及协议结构，我就不做多的做介绍了，如有需要请读者自行进行百度学些； 虽然someip协议已经基本成熟，但有多个实现版本，现在使用较多的主要…
阅读更多...
④. GPT错误：导入import pandas as pd库，存储输入路径图片信息存储错误

④. GPT错误：导入import pandas as pd库，存储输入路径图片信息存储错误

꧂ 问题最初꧁ 用 import pandas as pd 可是你没有打印各种信息input输入图片路径 print图片尺寸 大小 长宽高 有颜色占比>0.001的按照大小排序将打印信息存储excel表格文件名 表格路径 图片大小 尺寸 颜色类型 占比信息input输入的是文件就处理文件 是文件夹&#x1f4c…
阅读更多...
数据结构与算法—单链表

数据结构与算法—单链表

目录 一、链表 1、链表的概念及结构 2、分类 二、实现单向链表 1、声明链表结构体 2、输出 3、头插&尾插 4、头删尾删 5、查找 6、指定位置插入 7、删除指定节点 8、删除指定节点的后一个节点 9、单链表的销毁 完整版 LList.h LList.c text.c 一、链表 …
阅读更多...
spring中事务相关面试题（自用）

spring中事务相关面试题（自用）

1 什么是spring事务 Spring事务管理的实现原理是基于AOP（面向切面编程）和代理模式。Spring提供了两种主要的方式来管理事务：编程式事务管理和声明式事务管理。 声明式事务管理： Spring的声明式事务管理是通过使用注解或XML配置来…
阅读更多...
LocalDateTime与时间戳

LocalDateTime与时间戳

众所周知，如果想把 LocalDateTime 转为时间戳，需要先指定时区，然后才能转为时间戳，例如： LocalDateTime localDateTime LocalDateTime.now(); ZonedDateTime zonedDateTime localDateTime.atZone(ZoneId.systemDe…
阅读更多...
BI工具：让数据分析井然有序一望而知

BI工具：让数据分析井然有序一望而知

BI（Business Intelligence）工具是一类专门用于数据分析和决策支持的软件工具。 它们能够将企业内部和外部的数据进行整合、处理和可视化，帮助用户从海量数据中获取有价值的见解和洞察，并以直观、易懂的方式展示给决策者和相关人员…
阅读更多...
ios app开发环境搭建

ios app开发环境搭建

Xcode是Apple iOS的应用市场app store移动应用的开发工具，支持不同设备、不同应用场景的开发，本文主要描述xcode开发工具开发环境的搭建。 如上所示，在macos中，使用app store安装xcode开发工具 如上所示，在macos中&…
阅读更多...
【网络协议】聊聊ifconfig

【网络协议】聊聊ifconfig

我们知道在linux是ifconfig查看ip地址，但是ip addr也可以查看 IP 地址是一个网卡在网络世界的通讯地址，相当于我们现实世界的门牌号码。 从IP地址的划分来看，C类地址只可以容纳254个，而B类6W多，那么又没有一种折中的…
阅读更多...
design compiler中的drc规则详解

design compiler中的drc规则详解

design compiler中的drc规则详解 DRC是什么？DRC分类各个DRC的含义写在最后 DRC是什么？ 本文讨论的DRC即是Design Rule Constraint,而不是Design Rule Check，后者是物理端或者后端的一个关键步骤。 DRC分类 DRC为DC中的一个约束大类&#x…
阅读更多...
设计模式——21. 中介者模式

设计模式——21. 中介者模式

1. 说明 中介者模式（Mediator Pattern）是一种行为设计模式，它允许对象之间通过一个中介者对象进行通信，而不是直接相互引用。这种模式有助于减少对象之间的直接关联，从而提高系统的可维护性和松耦合性。中介者模式将对象之间的交互集中在一个中介者对象中，该对象负责协调…
阅读更多...
windows DOM 命令手册

windows DOM 命令手册

Windows 打开windows中特定程序 win R > cmd > Enter # 打开 dos 窗口 win R > devmgmt.msc > Enter # 打开设备管理器 win R > services.msc > Enter # 打开服务管理器 基础命令 help-查看某个命令帮助信息 # 查看…
阅读更多...
自动化办公篇之python

自动化办公篇之python

1、如果没有安装xlwings库，先在控制台pip install xlwings,然后点击运行，创建四个空excel表 。 import xlwings as xw app xw.App(visibleTrue,add_bookFalse) for dept in ["技术部","销售部","运营部","财务部&q…
阅读更多...
74.C++ STL stack容器

74.C++ STL stack容器

目录 1.什么是stack 2.stack的构造函数 3.赋值操作 4.数据存取操作 5.大小操作 1.什么是stack stack 是 C 标准库中的容器适配器，它提供了一个堆栈（栈）数据结构的封装，用于管理元素的插入和移除。栈是一种后进先出的数据结构…
阅读更多...
GaN器件的工作原理

GaN器件的工作原理

目录 AlGaN/GaNHEMT 器件工作原理（常开-耗尽型器件）常关 AlGaN/GaN 功率晶体管（增强型器件）HD-GIT与SP-HEMT AlGaN/GaNHEMT 器件工作原理（常开-耗尽型器件） 来源：毫米波GaN基功率器件及MMIC电路…
阅读更多...
Mybatis学习笔记注解/xml映射/动态SQL%%%Mybatis教程

Mybatis学习笔记注解/xml映射/动态SQL%%%Mybatis教程

介绍 Mybatis 是一款优秀的持久层框架，用于简化 JDBC 的开发 MyBatis中文网 Mybatis 入门 快速入门 步骤 创建 SpringBoot 工程、数据库表 user、实体类 User引入 Mybatis 相关依赖，配置 Mybatis（数据库连接信息）编写 SQL 语…
阅读更多...
Scraping 和Crawling的区别与联系

Scraping 和Crawling的区别与联系

在互联网时代，获取网页上的数据对于许多人来说已经成为一种常态。在这个过程中，我们经常会听到两个词：Web Scraping（网页抓取）和Web Crawling（网络爬虫），它们看似相似，但…
阅读更多...
php 解析json字符串

php 解析json字符串

在PHP中解析JSON字符串通常使用内置的json_decode函数。json_decode函数将一个JSON格式的字符串转换为PHP对象（如果设置第二个参数为true，则转换为关联数组）。 以下是一个示例： $json_string {"name":"John"…
阅读更多...
最新文章

Copyright @ 2022~2023