RocketMQ消息队列(下)

RocketMQ 基本概念

RocketMQ主要有四大核心组成部分:NameServer、Broker、Producer以及Consumer 四部分。这些角色通常以集群的方式存在,RocketMQ 基于纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。

对于RocketMQ 而言,我们想要启动,必须首先启动 NameServer,在启动 Broker主机, Broker 会向 NameServer 注册对应的路由和服务(Broker 地址、主体和),Producer会进行路由的发现,向NameServer请求Broker路由信息,进行消息的发送。

作为Consumer要连通NameServer,获取到相关的路由信息,方便我们进行消息的订阅。

Broker 也是一个很重要的角色,主要负责消息的存储,不管是生产消息还是订阅消息,消息的来源都是 Broker,一般来说消息的发送(Producer)只会发到主节点,然后Broker会进行消息的同步,同步到从节点,作为消费者(Consumer)也只会优先从Master节点,获取消息,进行消费,除非主节点不可用或者非常繁忙,才会从从节点进行消费,Broker除了消息的中转,还负责消息的持久化以及主从数据之间的复制

NameServer:

NameServer是一个服务与注册的发现中心。也是整个 RocketMQ 的“大脑”,所以 RocketMQ 需要先启动 NameServer再启动 RocketMQ 中的 Broker

NameServer 是一个几乎无状态节点,可集群部署,节点之间无任何信息同步。NameServer底层由 Netty 实现,是内存式存储,所以 NameServer中的 broker、topic不会持久化。

NameServer 其角色类似Dubbo和zookeeper,主要负责Broker的动态注册与发现。

为什么不使用zookeeper?

rocketmq主要是在分布式情况下使用追求性能,因为zookeeper最求最终一致性,所以在性能上会有所折扣。

Broker:

消息服务器(Broker)是消息存储中心,主要作用是接收来自 Producer的消息并存储,Consumer 从这里取得消息。存储与消息相关的元数据,包括用户组、消费进度偏移量、队列信息等。从部署结构图中可以看出 Broker有Master和Slave两种类型, Master 既可以写又可以读,Slave 不可以写只可以读。

Producer:

Producer也称为消息发布者(生产者),负责生产并发送消息至Topic。生产者向Broker发送由业务应用程序系统生成的消息。rocketmq提供了发送:同步、异步和单向(one-way)的多种范例。

Consumer:

也称为消息订阅者,负责从 Topic 接收并消费消息。消费者从 Broker那里拉取信息并将其输入应用程序。从Master拿到消息,执行完成后,会发送一个消息给Broker进行确认,这个就是ACK确认

分组(Group)

Group 分为两个部分 生产者和消费者

  • 生产者: 表示发送同一类消息的 Producer,通常情况下发送逻辑是一致的。发送普通消息时,用于标识使用,没有特别的用处。
    主要用来作用于事务消息,当事务消息中某条消息一直处于等待状态并超时,Broker会回查同一个Group下的其他producer,确定该消息是 commit 还是 rollback
  • 消费者: 消费者的分组就非常有意义了,消费者是标识一类 Consumer的集合名称,这类 Consumer通常消费一类消息,且消费逻辑一致。同一个 Consumer Group下的各个实例将共同消费 topic 的消息,起到负载均衡的作用。
    消费进度以Consumer Group为粒度管理,不同 Consumer Group 之间消费进度彼此不受影响,即消息 A 被Consumer Group1 消费过,也会再给Consumer Group2 消费。

主体(Topic)

用来区分消息的种类,表示一类消息的逻辑名字,消息的逻辑管理单位,无论生产还是消费消息,都需要执行Topic。

一个发送者可以发送消息给一个或者多个Topic;

一个消息接受者可以订阅一个或多个Topic消息;

 

消息队列(Message Queue)

消息队列 简称 Queue ,消息物理管理单位。用来并行发送和接收消息,相当于是Topic的分区。

一个Topic会有若干个Queue,消息的生产一般会比消息消费的速度要快,消息进行消费的时会有对应的业务逻辑进行处理,这个时候就会降低消息消费的速度。所有一般Topic会有若干个Queue。主要用来解决生产很快,消费很慢。

如果同一个Topic创建在不同的Broker,那么不同的Broker有不同的Queue,将物理存储在不同的Broker节点之上,具有水平扩展的能力。无论是生产者还是消费者,实际的操作都是针对Queue级别。

标签(Tag)

RocketMQ 支持在发送时给 topic 的消息设置 tag,用于同一主题下区分不同类型的消息。

来自同一业务单元的消息,可以根据不同业务目的在同一主题下设置不同标签。比如有一个 Topic 消息为水果,那么水果可以有其他的标签 可以是 香蕉、西瓜、草莓等等,我们可以把对应的消息,打上对应的标签(Tag),这个就是方便我们在消费的时候做对应的筛选。

标签能够有效地保持代码的清晰度和连贯性,并优化 RocketMQ 提供的查询系统。消费者可以根据Tag实现对不同子主题的不同消费逻辑,实现更好的扩展性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/684623.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

嵌入式培训机构四个月实训课程笔记(完整版)-Linux ARM驱动编程第四天-ARM Linux编程之IIC与uart (物联技术666)

链接:https://pan.baidu.com/s/1V0E9IHSoLbpiWJsncmFgdA?pwd1688 提取码:1688 教学内容: 1、I2C总线: I2C(Inter-Integrated Circuit),PHILIPS公司开发的两线式半双工同步串行总线;可以用来连…

C/C++重点解析——内存管理

1. C/C内存分布 我们先来看一段代码和其相关问题: int globalVar 1; static int staticGlobalVar 1; void Test() {static int staticVar 1;int localVar 1;int num1[10] { 1, 2, 3, 4 };char char2[] "abcd";const char* pChar3 "abcd"…

蓝桥杯刷题--python-6

0最大距离 - 蓝桥云课 (lanqiao.cn) n=int(input()) nums=list(map(int,input().split()))max_=float(-inf) for i in range (n):for j in range (i+1,n):tmp=abs(i-j)+abs(nums[i]-nums[j])max_=max(tmp,max_) print(max_) 0最长递增 - 蓝桥云课 (lanqiao.cn) import os im…

中科大计网学习记录笔记(十一):CDN

前言: 学习视频:中科大郑烇、杨坚全套《计算机网络(自顶向下方法 第7版,James F.Kurose,Keith W.Ross)》课程 该视频是B站非常著名的计网学习视频,但相信很多朋友和我一样在听完前面的部分发现信…

解决报错npm i -g ts-node

报错提示: npm ERR! code EPERM npm ERR! syscall mkdir npm ERR! path C:\Program Files\nodejs\node_modules\ts-node npm ERR! errno -4048 npm ERR! Error: EPERM: operation not permitted, mkdir C:\Program Files\nodejs\node_modules\ts-node npm ERR! [E…

【读书笔记】ICS设备及应用攻击(一)

工控系统通常是由互联设备所构成的大型复杂系统,这些设备包括类似于人机界面(HMI)、PLC、传感器、执行器以及其他使用协商好的协议进行相互通信的设备。所有交互背后的驱动力都是软件,软件为工控系统中几乎所有部分的运行提供支撑…

软件测试-自动化测试-面试题研究,知识要点,高频、重点知识点,自动化测试知识要点、知识梳理-PYTHON+自动化,评估试题

自动化项目实战能力评估 介绍一下你的自动化测试框架? 我的框架主要根据分层思想设计了几个独立模块: 模块一:主要存放通用业务代码,比如接口访问,数据库操作,excel 操作,等等 模块二&#xf…

2月12号

第一种判断方式 if (n 10) 更好,因为它具有更好的可读性、可以避免误操作,并符合常见的编程习惯和约定

问题:下列不属于影响职业选择的内在因素是()。 #微信#微信

问题:下列不属于影响职业选择的内在因素是()。 A.健康 B.个性特征 C.性别 D.家庭的影响 参考答案如图所示

程序员搞什么副业才有性价比?

干一行恨一行,三百六十行,行行干破防! 一份稳定的主业固然重要,但是有性价比的副业更令人心动。朝九晚五的工作日复一日,当然也可能是996的生活反复捶打。从整体来讲,程序员算是高收入群体,但往…

C++ 图上 bfs(五十八)【第五篇】

今天我们来学习一下图上bfs。 1.图上bfs 在图上,我们也可以进行 BFS,也可以解决图上 DFS 能解决的问题,比如连通块。 除此以外,根据 BFS 的性质,第一次到一个点的时候记下来的步数一定是到从起点到这个点的最小步数&…

promise【JavaScript

Promise有四种状态: 1.pending(进行中):初始状态,表示异步操作尚未完成。当创建一个Promise对象时,它的初始状态就是pending。 2.fulfilled(已成功):表示异步操作已成功…

【论文精读】GPT2

摘要 在单一领域数据集上训练单一任务的模型是当前系统普遍缺乏泛化能力的主要原因,要想使用当前的架构构建出稳健的系统,可能需要多任务学习。但多任务需要多数据集,而继续扩大数据集和目标设计的规模是个难以处理的问题,所以只能…

Leetcode 516.最长回文子序列

题意理解: 给你一个字符串 s ,找出其中最长的回文子序列,并返回该序列的长度。 子序列定义为:不改变剩余字符顺序的情况下,删除某些字符或者不删除任何字符形成的一个序列。 回文理解为元素对称的字串,这里…

PR:视频编辑播放速度技巧

想要视频片段加速或者减速,可以在片段上右击,选择“速度/持续时间...” 速度:可以更改百分比,如改成200%就是加速一倍,改成50%就是减速一倍。 注:如果源视频是正常速度录制的,比如每秒25帧&…

Linux split命令教程:如何分割大文件(附实例详解和注意事项)

Linux split命令介绍 split命令在Linux中用于将大文件分割成多个小文件。你可以根据需要自定义参数来分割文件。默认情况下,split命令会创建每1000行的新文件。 Linux split命令适用的Linux版本 split命令在所有主流的Linux发行版中都可以使用,包括但…

MySQL性能调优篇(6)-主从复制的配置与管理

MySQL数据库主从复制是一种常用的数据复制和高可用性解决方案。它允许将一个MySQL主服务器上的数据自动复制到多个从服务器上,从而提供了数据冗余备份、读写分离等优势。本文将详细介绍MySQL数据库主从复制的配置与管理。 1. 原理概述 MySQL主从复制是基于二进制日…

CSS弹性布局

CSS弹性布局 一、概念 ​ 弹性盒子是 CSS3 的一种新的布局模式。 ​ CSS3 弹性盒( Flexible Box 或 flexbox),是一种当页面需要适应不同的屏幕大小以及设备类型时确保元素拥有恰当的行为的布局方式。 ​ 引入弹性盒布局模型的目的是提供一…

【制作100个unity游戏之23】实现类似七日杀、森林一样的生存游戏17(附项目源码)

本节最终效果演示 文章目录 本节最终效果演示系列目录前言制作木板UI直接复制和工具一样的即可检查背包是否有指定数量的空插槽 源码完结 系列目录 前言 欢迎来到【制作100个Unity游戏】系列!本系列将引导您一步步学习如何使用Unity开发各种类型的游戏。在这第23篇…

如何使用机器人和物联网实现仓库自动化

自动化和机器人化不再仅限于制造过程; 现代仓库也正在采用大量新技术。 物联网 (IoT) 的出现使得极其精确的室内地理定位成为可能; 仓库工作人员正在使用智能仓储车; 先进的传感器确保存储货物的质量。 了解仓库自动化以及它如何保护并加快您的物流流程。 什么是物联网? Io…