Docker 安装配置 RocketMq
- 前言
- RocketMq拆解和分析
- 前置内容
- 1、NameServer
- 2、Broker
- 2、可视化界面
- SpringBoot + RocketMq 实战(后续有需求再继续)
前言
本文着重于基于Docker 安装 RocketMq ,默认是有 JAVA和 Docker 环境的,如无 基础(java docker) 环境,请先安装配置。
基础环境:Centos7,jdk8,Docker26
RocketMq拆解和分析
Producer:消息生产者,负责产生消息,存储到Broker。
Consumer:消息消费者,负责从Broker读取消息,并进行消费。
Push Consumer:Consumer的一种,Broker会主动推送消息到Consumer。
Pull Consumer:Consumer的一种,Consumer需要主动向Broker拉取消息。
Topic:消息主题,表示一类消息的集合。
Message:消息体,是消息的载体。
Tag:标签,用于区分不同的消息分区,一个Topic可以有多个Tag。
Queue:消息队列,Topic的物理分区,存储消息的地方。
Broker:消息中间件的服务节点,负责存储消息,转发消息等。
NameServer:路由中心,管理Broker的信息,Producer/Consumer通过NameServer查找Broker信息。
其中:我们在安装配置 RocketMq 只需要配置 NameServer,Broker 即可。
前置内容
RocketMq 基础镜像下载
docker pull rocketmqinc/rocketmq:latest
新建宿主机挂载目录(共5个)
mkdir /data/docker/rocketmq/namesrv/logs --namesrv
mkdir /data/docker/rocketmq/namesrv/store --namesrv
mkdir /data/docker/rocketmq/conf/ -- conf
mkdir /data/docker/rocketmq/broker/logs --broker
mkdir /data/docker/rocketmq/broker/store --broker也可以合并一条执行
配置文件获取
此处的配置文件为 broker.conf,是整个rocketMq 配置的核心内容
1、可以通过 docker run 简单启动一个 nameServer,然后通过 docker exec 和docker
copy 翻阅 复制 /opt/rockermq/conf/broker.conf(原配置文件)到宿主机,并进行修改。
2、 (推荐)直接使用我下面提供的[文件新建到 /data/docker/rocketmq/conf/ 目录下(上面新建的目录)]
注:需要修改 namesrvAddr 和 brokerIP1 为宿主机ip,直接使用宿主机ip,不使用docker 容器地址,避免问题。
broker.conf 文件内容
# 所属集群名字
brokerClusterName=DefaultCluster
# broker 名字,注意此处不同的配置文件填写的不一样,如果在 broker-a.properties 使用: broker-a,
# 在 broker-b.properties 使用: broker-b
brokerName=broker-a
# 0 表示 Master,> 0 表示 Slave
brokerId=0
# nameServer地址,分号分割
namesrvAddr=192.168.18.200:9876【修改为自己namesrv地址】
# 启动IP,如果 docker 报 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <192.168.0.120:10909> failed
# 解决方式1 加上一句 producer.setVipChannelEnabled(false);,解决方式2 brokerIP1 设置宿主机IP,不要使用docker 内部IP
#producer.setVipChannelEnabled=false
brokerIP1=192.168.18.200【修改为自己的宿主机ip】# 在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭 !!!这里仔细看是 false,false,false
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=10911
# 删除文件时间点,默认凌晨4点
deleteWhen=04
# 文件保留时间,默认48小时
fileReservedTime=120
# commitLog 每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
# storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store
# commitLog 存储路径
# storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog
# 消费队列存储
# storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue
# 消息索引存储路径
# storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index
# checkpoint 文件存储路径
# storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint
# abort 文件存储路径
# abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=ASYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128
注:以上准备工作完成后,以下都是docker操作。
1、NameServer
broker 依赖于 NameServer 的注册发现能力,因此我们需要先启动NameServer。
docker run -d --restart=always --name rmqnamesrv -p 9876:9876 -v /data/docker/rocketmq/namesrv/logs:/root/logs -v /data/docker/rocketmq/namesrv/store:/root/store -v /data/docker/rocketmq/conf/broker.conf:/opt/rocketmq-4.4.0/conf/borker.conf rocketmqinc/rocketmq:latest sh mqnamesrv;-d : 后台运行
--restart=always :自动重启
--name 容器名
-p 端口映射
-v 宿主机目录:容器内目录 (文件挂载)
rocketmqinc/rocketmq:latest 镜像名
执行完命令后 通过 docker ps
查看对应的容器是否启动成功。
2、Broker
确定第一步 namesrv 启动完成后即可启动 broker
docker run -d \
--restart=always \
--name rmqbroker01 \
--link rmqnamesrv:namesrv \
-p 10911:10911 \
-p 10909:10909 \
-v /data/docker/rocketmq/broker/logs:/root/logs \
-v /data/docker/rocketmq/broker/store:/root/store \
-v /data/docker/rocketmq/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf \
-e "NAMESRV_ADDR=namesrv:9876" \
rocketmqinc/rocketmq:latest \
sh mqbroker \
-c /opt/rocketmq-4.4.0/conf/broker.conf autoCreateTopicEnable=true;
docker ps 查看
2、可视化界面
本人已经将可视化界面打包成 jar 包,可以下载到本地通过 java -jar 命令执行即可。注:请看本文附带的文件资源。
java -Drocketmq-Address="11.11.11.11:9876" -jar rocketmq-dashboard-1.0.0.jar