029-从零搭建微服务-消息队列（一）

写在最前

如果这个项目让你有所收获，记得 Star 关注哦，这对我是非常不错的鼓励与支持。

源码地址（后端）：mingyue: 🎉 基于 Spring Boot、Spring Cloud & Alibaba 的分布式微服务架构基础服务中心

源码地址（前端）：mingyue-ui: 🎉 基于 Vue3 + TS + Vite + Element plus 等技术，适配 MingYue 后台微服务

文档地址：Wiki - Gitee.com

消息队列

消息队列（Message Queue）是一种用于在分布式系统中进行异步通信的通信模式和技术。它允许不同的组件或服务之间通过发送和接收消息来进行通信，而无需直接耦合它们的实现细节。消息队列通常用于解耦系统的不同部分，提高系统的可伸缩性、可靠性和灵活性。

以下是消息队列的一些关键特点和概念：

  1. 消息生产者（Producer）： 这是向消息队列发送消息的组件或应用程序。生产者将消息发送到队列中，通常包括一些有关消息内容的元数据。

  2. 消息队列（Queue）： 这是用于存储消息的中间件组件，消息在这里排队等待被处理。消息队列通常支持不同的消息传递模式，例如先进先出（FIFO）或发布/订阅模式。

  3. 消息消费者（Consumer）： 这是从消息队列接收消息并进行处理的组件或应用程序。消费者订阅特定队列，并在有新消息可用时接收并处理它们。

  4. 消息代理（Message Broker）： 这是协调消息的发送和接收的中间件服务。消息代理通常负责消息的路由、传递和确保消息的可靠性。

  5. 消息确认（Acknowledgment）： 消费者在成功处理消息后，通常会向消息队列发送确认，以告知队列消息已被处理。这确保了消息不会被重复处理。

  6. 消息持久性（Message Durability）： 消息队列通常支持消息的持久性，这意味着即使在消息被传递给消费者之后，消息仍然会在系统中存储，以确保不会丢失。

  7. 消息超时（Message Timeout）： 有时候，消息队列会设置消息的超时时间，以确保消息在一定时间内被处理，否则可能会被认为是过期消息。

  8. 发布/订阅模式（Publish/Subscribe）： 这是一种消息传递模式，其中生产者将消息发布到一个主题（topic），而不是特定的队列，然后多个消费者订阅该主题以接收消息。这种模式支持广播消息。

使用场景

  • 异步通信：允许不同的系统组件异步通信，提高系统的响应性能。

  • 解耦组件：降低系统中不同组件之间的耦合，使得系统更容易维护和扩展。

  • 负载均衡：通过分发消息给多个消费者来平衡工作负载。

  • 消息传递可靠性：确保消息的可靠传递，即使在系统中的故障情况下也能保证不丢失消息。

  • 日志和审计：用于记录和审计系统活动，以便后续分析和故障排除。

技术选型

一些常见的消息队列实现包括 RabbitMQ、RocketMQ、Kafka等，选择适合特定应用场景的消息队列是关键，因为它会影响系统的性能、可靠性和可扩展性。不同的场景可能更适合不同的消息队列系统。

基础对比
RabbitMQRocketMQKafka
推出时间2007年2012年2012年
所属Pivotal开源，Mozilla阿里开源，ApacheLinkin开源，Apache
社区活跃度高高高
开发语言ErlangJavaScala、Java
支持的协议AMQP自己定义一套自行定义一套（基于TCP）
吞吐量万级（5.95w/s）十万级（11.6w/s）十万级（17.3w/s）
topic数量对吞吐量的影响topic达到几百，几千个时，吞吐量会有较小幅度的下降topic达到几十，几百个时，吞吐量会大幅度下降
时效性微秒级毫秒级毫秒级
可用性高（主从架构）非常高（分布式架构）非常高（分布式架构）
使用场景适用于各种规模的应用程序，尤其适合需要多语言支持的场景。适用于大规模的企业应用和互联网场景，尤其在阿里巴巴等大型公司中得到广泛应用。适用于大数据处理、实时数据流分析、事件溯源等高吞吐量场景。
功能对比
RabbitMQRocketMQKafka
延迟队列✅✅❌
死信队列✅✅❌
优先级队列✅❌❌
消息回溯❌✅✅
消焦持久化✅✅✅
消魚确认机制单条OffsetOffset
消息TTL✅✅❌
消息重复支持at least once、at most once支持at least once支持at least once、at most once
消息顺序性❌消费者加锁分区有序
消息事务❌✅❌
消息过滤❌✅❌
消息查询✅✅❌
消息重新消费❌✅✅
消费模式队列模式广播模式+集群模式流模式
消费推拉模式Pull、PushPull、PushPull
批量发送❌✅✅

选型总结

通过对RabbitMQ、RocketMQ、Kafka 基础与功能两个维度对比，本项目将采用 RocketMQ、Kafka 两个消息队列。

RocketMQ 适用场景

  • 高性能、高可用性的消息传递场景，例如实时数据分析、电商秒杀等。

  • 需要强大的消息过滤和消息追踪功能的场景，例如广告投放、用户推送等。

  • 需要分布式事务支持的场景，RocketMQ提供了分布式事务消息特性。

Kafka 适用场景

  • 需要高吞吐量和低延迟的实时数据处理场景，例如用户行为日志分析、实时监控等。

  • 需要保留大量历史数据并支持数据回溯的场景，例如大数据分析、数据仓库等。

  • 需要构建事件驱动架构的场景，Kafka可以作为事件源和消息总线。

Docker 安装 RocketMQ

创建目录结构

具体内容可以参考：mingyue/docker/rocketmq

rocketmq/broker1/confbroker.conf/logsREADME.md/storeREADME.md/namesrv/logsREADME.md
docker-compose.yml

编写 docker-compose rocketmq 服务

version: '3.8'
services:mingyue-mqnamesrv:image: apache/rocketmq:4.9.4container_name: mingyue-mqnamesrvports:- "9876:9876"environment:JAVA_OPT: -server -Xms512m -Xmx512mcommand: sh mqnamesrvvolumes:- ./rocketmq/namesrv/logs:/home/rocketmq/logs/rocketmqlogs
​mingyue-mqbroker1:image: apache/rocketmq:4.9.4container_name: mingyue-mqbroker1ports:- "10911:10911"- "10909:10909"- "10912:10912"environment:JAVA_OPT_EXT: -server -Xms512M -Xmx512M -Xmn256mcommand: sh mqbroker -c /home/rocketmq/rocketmq-4.9.4/conf/broker.confdepends_on:- mingyue-mqnamesrvvolumes:- ./rocketmq/broker1/conf/broker.conf:/home/rocketmq/rocketmq-4.9.4/conf/broker.conf- ./rocketmq/broker1/logs:/home/rocketmq/logs/rocketmqlogs- ./rocketmq/broker1/store:/home/rocketmq/store
​mingyue-mqconsole:image: styletang/rocketmq-console-ngcontainer_name: mingyue-mqconsoleports:- "19876:19876"links:- mingyue-mqnamesrv:mqnamesrv #可以用mqnamesrv这个域名访问rocketmq服务environment:JAVA_OPTS: -Dserver.port=19876 -Drocketmq.namesrv.addr=mqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=falsedepends_on:- mingyue-mqnamesrv

启动测试

启动前先执行部分目录赋予读写权限，例：chmod 777 /docker/rocketmq/broker1/logs

访问 mingyue-mqconsole 可以打开 Dashboard 页面即可：http://ip:19876/#/

Docker 安装 Kafka

创建目录结构

具体内容可以参考：mingyue/docker/kafka

kafka/dataREADME.md
docker-compose.yml

编写 docker-compose kafka 服务

version: '3.8'
services:mingyue-zookeeper:image: 'bitnami/zookeeper:3.8.0'container_name: mingyue-zookeeperports:- "2181:2181"environment:TZ: Asia/ShanghaiALLOW_ANONYMOUS_LOGIN: "yes"ZOO_SERVER_ID: 1ZOO_PORT_NUMBER: 2181# 自带的控制台 一般用不上可自行开启ZOO_ENABLE_ADMIN_SERVER: "no"# 自带控制台的端口ZOO_ADMIN_SERVER_PORT_NUMBER: 8080
​mingyue-kafka:image: 'bitnami/kafka:3.2.0'container_name: mingyue-kafkaports:- "9092:9092"environment:TZ: Asia/Shanghai# 更多变量 查看文档 https://github.com/bitnami/bitnami-docker-kafka/blob/master/README.mdKAFKA_BROKER_ID: 1# 监听端口KAFKA_CFG_LISTENERS: PLAINTEXT://:9092# 实际访问ip 本地用 127 内网用 192 外网用 外网ipKAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://宿主机IP:9092KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181ALLOW_PLAINTEXT_LISTENER: "yes"volumes:- /docker/kafka/data:/bitnami/kafka/datadepends_on:- mingyue-zookeeperlinks:- mingyue-zookeeper:zookeeper #可以用zookeeper这个域名访问zookeeper服务
​mingyue-kafka-manager:image: sheepkiller/kafka-manager:latestcontainer_name: mingyue-kafka-managerports:- "19092:19092"environment:ZK_HOSTS: mingyue-zookeeper:2181APPLICATION_SECRET: letmeinKAFKA_MANAGER_USERNAME: mingyueKAFKA_MANAGER_PASSWORD: mingyue123KM_ARGS: -Dhttp.port=19092depends_on:- mingyue-kafkalinks:- mingyue-zookeeper:zookeeper #可以用zookeeper这个域名访问zookeeper服务

启动测试

启动前先执行部分目录赋予读写权限，例：chmod 777 /docker/kafka/data`

访问 mingyue-kafka-manager 可以打开 Clusters 页面即可：http://mingyue-mq:19092/

Spring Cloud Stream

Spring Cloud Stream 是一个用于构建与共享消息系统连接的高度可扩展的事件驱动微服务的框架。该框架提供了一个基于已经建立和熟悉的 Spring 成语和最佳实践的灵活编程模型，包括支持持久的 pub/sub 语义、消费者组和有状态分区。

说人话：Spring Cloud Stream 是 Spring 用来整合各种 MQ 中间件的框架。

Spring Cloud Stream的核心构建块

  • Destination Binders（目标绑定器）：目标指的是 Kafka 还是 RabbitMQ，绑定器就是封装了目标中间件的包。如果操作的是 kafka 就使用 kafka binder ，如果操作的是 RabbitMQ 就使用 rabbitmq binder。

  • Destination Bindings（目标绑定）：MQ 中间件与最终用户提供的应用程序代码(生产者/消费者)之间的桥梁，提供消息的“生产者”和“消费者”（由目标绑定器创建）

  • Message（消息）：一种规范化的数据结构，生产者和消费者基于这个数据结构通过外部消息系统与目标绑定器和其他应用程序通信。

Spring Cloud Stream 架构图

Spring Cloud Stream 应用程序由中间件中立的核心组成。该应用程序通过在外部代理暴露的目的地和代码中的输入/输出参数之间建立绑定，与外部世界进行通信。建立绑定所需的经纪人特定细节由特定于中间件的 Binder 实现处理。

  • Middleware：消息中间件，如RabbitMQ、Kafka、RocketMQ等。

  • Binder：可以认为是适配器，用来将Stream与中间件连接起来，不同的Binder对应不同的中间件，需要我们配置。

  • Application：由Stream封装的消息机制，很少自定义开发。

  • Inputs：输入，可以自定义开发。

  • Outputs：输出，可以自定义开发。

小结

本节介绍了什么是消息队列、以及选择什么样的消息队列，如何对比，最终选择了 Kafka 与 RocketMQ。然后给出了 Docker 一件部署 Kafka 与 RocketMQ 的 docker-compose 脚本。阐述了什么是 Spring Cloud Stream，未来将会使用 Spring Cloud Stream 作为 MQ 中间价的框架。

下面我们就使用 Spring Cloud Stream 来搭建代码与 MQ 之间的桥梁～～～

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/89708.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java基础常考知识点（基础、集合、异常、JVM）

Java基础常考知识点（基础、集合、异常、JVM）

作者：逍遥Sean 简介：一个主修Java的Web网站\游戏服务器后端开发者 主页：https://blog.csdn.net/Ureliable 觉得博主文章不错的话，可以三连支持一下~ 如有需要我的支持，请私信或评论留言！ Java基础常考知识点…
阅读更多...
笔记本摄像头怎么打开？记牢这5个简单方法！

笔记本摄像头怎么打开？记牢这5个简单方法！

“我有一个紧急视频会议，但是关键时刻我的笔记本电脑摄像头居然打不开了，真的让我很崩溃。有什么方法可以快速解决这个问题吗？非常感谢！” 在互联网时代，电脑对我们来说非常重要。而借助电脑摄像头与朋友交流或者与同事…
阅读更多...
601-体育馆的人流量

601-体育馆的人流量

文章目录 601-体育馆的人流量1. 题目2. 思路3. 解决4. 运行结果 601-体育馆的人流量 1. 题目 2. 思路 思路：查询Stadium表中人流量超过100的记录，将查询结果与自身的临时表连接，再使用where获得满足条件的记录 查询Stadium表中人流量超过10…
阅读更多...
asp.net服装管理系统三层架构

asp.net服装管理系统三层架构

asp.net服装管理系统三层架构说明文档 运行前附加数据库.mdf（或sql生成数据库） 主要技术： 基于asp.net架构和sql server数据库，并采用EF实体模型开发。 三层架构并采用EF实体模型开发 功能模块： 运行环境&#xff1…
阅读更多...
CyclicBarrier 、CountDownLatch 、Semaphore 的用法

CyclicBarrier 、CountDownLatch 、Semaphore 的用法

1 CountDownLatch（线程计数器 ） CountDownLatch类位于java.util.concurrent 包下，利用它可以实现类似计数器的功能。比如有一个任务 A，它要等待其他 4 个任务执行完毕之后才能执行，此时就可以利用 CountDownLatch 来实…
阅读更多...
第二证券：国庆档票房有望延续复苏态势 海风拐点已至

第二证券：国庆档票房有望延续复苏态势 海风拐点已至

昨日，两市股指盘中强势轰动上扬，创业板指早盘一度涨近2%，随后涨幅逐渐收窄。到收盘，沪指涨0.16%报3107.32点，深成指涨0.44%报10104.32点，创业板指涨0.82%报2006.22点，两市算计成交7165亿元&…
阅读更多...
iOS 视频压缩 mov转mp4 码率

iOS 视频压缩 mov转mp4 码率

最近还是因为IM模块的功能，IOS录制MOV视频发送后，安卓端无法播放，迫不得已兼容将MOV视频转为MP4发送。 其中mov视频包括4K/24FPS、4K/30FPS、4K/60FPS、720p HD/30FPS、1080p HD/30FPS、1080p HD/60FPS！ 使用AVAssetExportSessi…
阅读更多...
排序学习总结

排序学习总结

取每个对象的内接矩形框，然后再排序，根据排序的结果确定原对象顺序。 inner_rectangle1(RegionAffineTrans1, Row1, Column1, Row2, Column2) gen_rectangle1(Rect,Row1, Column1, Row2, Column2) sort_region(Rect,RectSort,character,true, row)count…
阅读更多...
4k、VR与万兆光网

4k、VR与万兆光网

“全光万兆”对VR意义重大。 pico4的分辨率 PICO 4 的单眼分辨率是 2160 2160，整体分辨率高达 4320 2160。这是一款高性能的 VR 一体机，采用了 2.56 英寸的 Fast-LCD 屏幕，最高可实现 90Hz 刷新率，还有 1200 PPI 和 20.6 PPD 的…
阅读更多...
一、2023.9.27.C++基础.1

一、2023.9.27.C++基础.1

回答问题一定要有逻辑性，我将从 这个技术是什么？ 为什么要有这个技术？ 这个技术底层是怎么实现的？ 这个技术的优点缺点？ 这个技术所适合的使用场景？ 以下五个方面来回答问题。 文章目录 一、C基础部分&…
阅读更多...
行为型设计模式——责任链模式

行为型设计模式——责任链模式

摘要 责任链模式(Chain of responsibility pattern): 通过责任链模式, 你可以为某个请求创建一个对象链. 每个对象依序检查此请求并对其进行处理或者将它传给链中的下一个对象。 一、责任链模式意图 职责链模式（Chain Of Responsibility） 是一种行为设…
阅读更多...
弱信号的采样与频谱分析(修订中...)

弱信号的采样与频谱分析(修订中...)

1.频谱混叠效应 - 波形数据抽样 这是一组经过抽样的数据的频谱，红圈圈出的两条谱线，是我们需要关注的特征谱线。这个信号与右侧的临近信号比较，求频率比值，比值恒定与理论推导相符。再5取1降低采样率后，大致相同的频率…
阅读更多...
接口测试--Postman常用断言

接口测试--Postman常用断言

Postman的断言是用javascript语言写的 引入--什么是断言 结果中的特定属性或值与预期做对比，如果一致，则用例通过，如果不一致，断言失败，用例失败。断言，是一个完整测试用例所不可或缺的一部分&#xff0c…
阅读更多...
Linux系统上使用SQLite

Linux系统上使用SQLite

1. 安装SQLite 在Linux上安装SQLite非常简单。可以使用包管理器（如apt、yum）直接从官方软件源安装SQLite。例如，在Ubuntu上使用以下命令安装SQLite： sudo apt-get install sqlite32. 打开或创建数据库 要打开或创建一个SQLite数…
阅读更多...
5月22日比特币披萨日，今天你吃披萨了吗？

5月22日比特币披萨日，今天你吃披萨了吗？

比特币披萨日 1. Laszlo Hanyecz2. 最贵披萨诞生记3. 梭哈买披萨4. 未完待续 2010年5月22日，美国佛罗里达州的程序员Laszlo Hanyecz（拉兹洛哈涅克斯）用10000个比特币购买了棒约翰（Papa Johns）比萨店一个价值25美元的奶…
阅读更多...
什么人适合学NPDP产品经理认证？

什么人适合学NPDP产品经理认证？

NPDP产品经理认证，最适合学的就是产品经理了，但是证书没有局限性，适用于所有与产品开发相关的行业和领域，特别是那些需要提高产品成功率和效率的团队成员。就是一句话，只要你觉得有用，都可以考。 通过学习N…
阅读更多...
Softing物联网（IoT）方案之OT/IT数据集成

Softing物联网（IoT）方案之OT/IT数据集成

一 利用数据提高效率和绩效 多年以来数据集成和工业物联网一直在推动着市场的发展，目前我们已经能够集成并成功使用先进的技术、大量的传感器和复杂的数据格式等。而在工业物联网或工业4.0中，还有运营技术（OT）和信息技术&#xf…
阅读更多...
Video Caption / 视频字幕：常用指标（BELU-4，ROUGE-L，METEOR，CIDEr，SPICE）和数据集总结

Video Caption / 视频字幕：常用指标（BELU-4，ROUGE-L，METEOR，CIDEr，SPICE）和数据集总结

本文作为入门Video Caption / 视频字幕 的随笔记录，用于查漏补缺和回顾，难免有疏漏和不足指出，烦请指出！ 一、指标 Video Caption / 视频字幕常用的标准指标有四种：BLEU-1[1]，BLEU-2[1]，BLEU-3[…
阅读更多...
LeetCode算法二叉树—LCR 194. 二叉树的最近公共祖先

LeetCode算法二叉树—LCR 194. 二叉树的最近公共祖先

目录 LCR 194. 二叉树的最近公共祖先 - 力扣（LeetCode） 代码： 运行结果： 给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为：“对于有根树 T 的两个结点 p、q，最…
阅读更多...
realloc函数应用IO泄露体验

realloc函数应用IO泄露体验

本题主要介绍realloc函数，平时我们使用realloc最多便是在打malloc_hook–>onegadget的时候，使用realloc_hook调整onegadget的栈帧，从而getshell。 在realloc函数中，也能像malloc一样创建堆，并且比malloc麻烦一些&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023