RocketMQ 安装部署及应用场景记录

文章目录

  • 前言
  • 一、RocketMQ简介
    • 1.1 整体架构
  • 二、RocketMQ安装部署
    • 2.1 RocketMQ 下载
    • 2.2 修改 JVM 参数
    • 2.3 启动 NameServer 和 Broker
    • 2.4 验证发送和接受消息
    • 2.5 停止 NameServer 和 Broker
    • 2.6 配置全局环境
  • 三、RocketMQ应用场景
    • 3.1 异步处理
    • 3.2 应用解耦
    • 3.3 流量削峰

前言

工作中很多种场景用到消息队列,消息队列简单来说就是消息的传输过程中保存消息的一种容器。项目中引入消息队列中间件主要解决了异步处理、应用耦合、流量削峰等问题。今天我们来学习一下阿里开源的一款产品 RocketMQ。

一、RocketMQ简介

RocketMQ 是一款低延迟、高并发、高可用、高可靠的分布式消息中间件。具备异步通信的优势,系统拓扑简单、上下游耦合较弱,主要应用于异步解耦,流量削峰填谷等场景。

1.1 整体架构

在这里插入图片描述

RocketMQ 架构主要分为四个部分,如上图所示:

● Producer: 消息发布的角色,支持分布式集群方式部署。Producer 通过 MQ 负载均衡模块选择相应的 Broker 集群队列进行消息投递,投递的过程支持快速失败并且低延迟。

● Consumer: 消息消费的角色,支持分布式集群方式部署。支持 PUSH 推,PULL 拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费,它提供实时消息订阅机制,可以满足大多数用户的需求。

● NameServer: NameServer 是整个 RocketMQ 的大脑,相当于路由/注册和发现中心。可使用集群方式部署,集群中各个NameServer 都是无状态的即无法感知其它 NameServer 的存在。NameServer 的主要作用是为消息生产者和消息消费者提供有关 Topic 的路由信息,所以 NameServer 就需要存储路由信息,并且能够管理 Broker 节点,包括路由注册、路由删除等功能。

● Broker: RocketMQ 核心组件之一,大部分重量级工作都是通过 Broker 来完成的。Borker 处理各种请求和存储消息,决定整个 RocketMQ 体系的吞吐性能、可靠性和可用性。Broker 可以存储多个 Topic 的消息,每个 Topic 的消息也可以分片存储于不同的 Broker。MessageQueue 用于存储消息的物理地址,每个 Topic 中的消息地址存储于多个 MessageQueue 中。

主题(Topic)
表示一类消息的集合,每个主题包含若干条消息,每条消息只能属于一个主题,是 RocketMQ 进行消息订阅的基本单位。
在RocketMQ中,每个Topic默认都会有4个队列,并且每个队列都有一个id,默认从0开始,依次递增

二、RocketMQ安装部署

2.1 RocketMQ 下载

安装部署RocketMQ, 需要先安装JDK,这里不做记录!

RocketMQ 下载链接:https://archive.apache.org/dist/rocketmq/4.9.1/

在这里插入图片描述

下载到本地后 win + r 打开 cmd 输入如下命令将文件上传到 Liunx 服务器的 /mydata/rocketmq/目录。

scp rocketmq-all-4.9.1-bin-release.zip的位置 root@192.168.57.129:/mydata/rocketmq/

输入 Linux 开机密码后上传成功,如下图:
在这里插入图片描述
或者直接使用如下命令下载安装包

wget https://archive.apache.org/dist/rocketmq/4.9.1/rocketmq-all-4.9.1-bin-release.zip

解压安装包

unzip rocketmq-all-4.9.1-bin-release.zip

重命名

mv rocketmq-all-4.9.1-bin-release rocketmq-4.9.1

进入rocketmq-4.9.1 文件夹

cd rocketmq-4.9.1

查看 rocketmq-4.9.1 目录

在这里插入图片描述

2.2 修改 JVM 参数

在启动 RocketMQ 之前,建议修改启动时的 JVM 参数,因为默认的参数都比较大,为了避免内存不够,建议修改小。

修改 runserver.sh 的 JVM 参数

vi /mydata/rocketmq/rocketmq-4.9.1/bin/runserver.sh

将原来的初始堆内存和最大最内存调整为 512m,esc + : wq 保存后退出

在这里插入图片描述

修改 runbroker.sh 的 JVM 参数

vi /mydata/rocketmq/rocketmq-4.9.1/bin/runbroker.sh

在这里插入图片描述

2.3 启动 NameServer 和 Broker

启动 nameServer

nohup /mydata/rocketmq/rocketmq-4.9.1/bin/mqnamesrv -n 192.168.57.129:9876 &

查看 nohup.out 日志

[root@localhost bin]# cat nohup.out 
Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
The Name Server boot success. serializeType=JSON

编写 broker.conf 配置文件

vim /mydata/rocketmq/rocketmq-4.9.1/conf/broker.conf

加上这行,开启自动创建 Topic

autoCreateTopicEnable = true

启动 broker

nohup /mydata/rocketmq/rocketmq-4.9.1/bin/mqbroker -n 192.168.57.129:9876 &

查看 nohup.out 日志

[root@localhost bin]# cat nohup.out 
Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
The Name Server boot success. serializeType=JSON
The broker[localhost.localdomain, 192.168.57.129:10911] boot success. serializeType=JSON and name server is 192.168.57.129:9876

2.4 验证发送和接受消息

● 配置 nameserver 的环境变量,在发送和接受消息之前,需要告诉客户端 nameserver 的位置。配置 NAMESRV_ADDR 如下。

vim /etc/profile

配置信息

export NAMESRV_ADDR=192.168.57.129:9876

重新加载配置,让它生效

source /etc/profile

● 使用 bin/tools.sh 工具验证消息的发送和接收,默认会发 1000 条数据。

启动生产者发送消息

tools.sh org.apache.rocketmq.example.quickstart.Producer

在这里插入图片描述

启动消费者接收消息

tools.sh org.apache.rocketmq.example.quickstart.Consumer

在这里插入图片描述

2.5 停止 NameServer 和 Broker

停止 nameserver

[root@localhost bin]# mqshutdown namesrv
The mqnamesrv(11783) is running...
Send shutdown request to mqnamesrv(11783) OK

停止 broker

[root@localhost bin]# mqshutdown broker
The mqbroker(12178) is running...
Send shutdown request to mqbroker(12178) OK

2.6 配置全局环境

vim /etc/profile
export ROCKETMQ_HOME=/mydata/rocketmq/rocketmq-4.9.1
export PATH=$PATH:$ROCKETMQ_HOME/bin
source /etc/profile

这样就不必每次进入 RocketMQ 的安装目录了,直接可以使用 mqnamesrv 和mqbroker 指令。

三、RocketMQ应用场景

3.1 异步处理

如下图,简单模拟用户下单流程,若使用同步通信方式用户下订单后,后台需要执行创建订单,扣减库存,加积分,生成优惠卷四个业务模块。通常来说它们都是以微服务的形式部署在不同机器上,网络不可靠因素无疑增加了用户下单失败的风险,调用链长增加了用户下单后返回下单成功的时长。
在这里插入图片描述

使用消息队列后,当用户点击下订单操作,后台往消息队列发送消息(userId,productId,…),后续创建订单,扣减库存,加积分,优惠卷四个业务只需要去消息队列的某个 Topic 订阅消息,当 Broker 的某个 Topic 有它们所订阅的消息后就能接受消息,进而去执行它们的业务逻辑。所以用户下订单后便能很快返下单成功。

相比第一种同步调用方案,使用 MQ 异步处理能明显提高了系统的吞吐量,而且上下游的依赖关系明显减弱了,达到了解耦的目的。

在这里插入图片描述

3.2 应用解耦

如下图所示:当用户发送请求经过 API 网关路由到服务 A,服务 A 再发送消息给 MQ 的某个 Topic ,服务 B,服务 C,服务 D 订阅这个 Topic 后就能接受服务 A 的消息,再去处理各自的业务,达到应用解耦的目的。

在这里插入图片描述

绝大多数电商业务场景都使用消息队列来解决类似的系统耦合过于紧密的问题。引入消息队列后订单服务在订单变化时发送一条消息到消息队列的一个主题 Order 中,所有下游系统都订阅主题 Order,这样每个下游系统都可以获得一份实时完整的订单数据无论增加、减少下游系统或是下游系统需求如何变化,订单服务都无需做任何更改,实现了订单服务与下游服务的解耦。

3.3 流量削峰

如何避免过多的请求压垮我们的秒杀系统?

设计思路: 使用消息队列隔离网关和后端服务,以达到流量控制和保护后端服务的目的。
在这里插入图片描述

加入消息队列之后,整个秒杀的流程如下:

  1. 网关在收到请求后,将请求放入到 MQ 中
  2. 后端服务从请求 MQ 获取请求,完成后续秒杀处理过程,返回响应
    在这里插入图片描述

代价:

  1. 增加系统调用链的环节,导致总体的响应时延变长
  2. 同步调用变成了异步调用,增加系统的复杂度
  3. 成本问题,MQ高可能、高可用

常见限流算法:

  1. 固定窗口算法
  2. 滑动窗口算法
  3. 漏桶算法
  4. 令牌桶算法

令牌桶控制流量的原理是: 单位时间内只发放固定数量的令牌到令牌桶中,规定服务在处理请求之前必须先从令牌桶中拿出一个令牌,如果令牌桶中没有令牌,则拒绝请求。这样就保证单位时间内,能处理的请求不超过发放令牌的数量,起到了流量控制的作用。

更多的使用场景:

  1. 通过MQ实现分布式事务,最终一致性
  2. 作为发布/订阅系统实现一个微服务级系统间的观察者模式
  3. 连接流计算任务和数据
  4. 用于将消息广播给大量接收者,数据同步

备注: 应用解耦和流量控制部分来自B站作者(架构驿站)的消息队列进阶课。在此表示感谢!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/171745.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uniapp+vue3路由跳转传参

在uni-app中使用Vue 3进行路由跳转传参,可以通过以下步骤实现: 1.在router文件夹中创建一个名为index.js的文件,用于配置路由。在这个文件中,我们将导入createRouter和createWebHistory函数,并定义路由规则。同时&…

7.前端--CSS-字体属性【2023.11.26】

CSS字体属性 CSS Fonts (字体)属性用于定义字体样式、粗细、大小、和字形。 1.文字样式 CSS 使用 font-style 属性设置文本的风格。 语法: p { font-style: normal; }属性: 2字体粗细 CSS 使用 font-weight 属性设置文本字体的粗细。 语法&#xff1a…

已知两个链表L1和L2分别表示两个集合,其中元素递增排列。请设计一个算法,用于求出L1与L2的交集,并存放在L1链表中

已知两个链表L1和L2分别表示两个集合,其中元素递增排列。请设计一个算法,用于求出L1与L2的交集,并存放在L1链表中。 代码思路: 我们创建一个辅助链表L3,用于存储L1和L2链表的交集,用s遍历L3各个元素 用p和…

基于Spring、SpringMVC、MyBatis的闪烁物业管理系统

文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 🍅文末获取源码联系🍅 项目介绍 基于SSM的闪烁物业管理系统,java项目。 …

免费苹果APP打包方法有几种

苹果APP封装打包的打包方法主要分两种: 使用Xcode直接打包。这是最直接的方法,也是在开发环境下进行的。在Xcode中,选择Product菜单,然后选择Archive选项进行打包。打包成功后,会生成一个ipa文件,这个文件…

Java | The last packet sent successfully to the server was xxx milliseconds ago

最近在部署代码后,后端总是会遇到这个问题,设备通道在访问数据库时经常会报错,在搜集大量资料后我以为是配置问题,首先要保证: (1)首先确定jdbc.url地址是正确的 (2&#xf…

2024年天津天狮学院专升本食品质量与安全专业《分析化学》考纲

2024年天津天狮学院食品质量与安全专业高职升本入学考试《分析化学》考试大纲 一、考试性质 《分析化学》专业课程考试是天津天狮学院食品质量与安全专业高职升本入学考试 的必考科目之一,其性质是考核学生是否达到了升入本科继续学习的要求而进行的选拔性考试。《…

2023年09月 Scratch(三级)真题解析#中国电子学会#全国青少年软件编程等级考试

Scratch等级考试(1~4级)全部真题・点这里 一、单选题(共25题,每题2分,共50分) 第1题 运行下面程序后,角色的x坐标值是?( ) A:100 B:90 C:110 D:120 答案:C 利用变量值作为条件,控制循环的次数。变量从0~10的过程中每次角色的x坐标都增加了10,当变量值为1…

Unity-链接MySql8.0

链接MySql8.0 1.准备dll 一、找到l18N相关的dll 这里给出一个参考地址 D:\Unity\2020.3.48f1c1\Editor\Data\MonoBleedingEdge\lib\mono\unityjit在里面找到如下图的四个dll 二、下载数据库链接dll https://downloads.mysql.com/archives/c-net/在这里搜索历史版本(Archiv…

开发旅游APP的意义

开发旅游APP的意义在于: 提升旅游服务水平:旅游APP能够提供更便捷、更高效的服务,例如随时随地在线获取新的出行信息,可以随时下单出行,游客可以获得最新的旅游指南、在线预订线路、酒店、当地美食、美食和天气预报等…

flask依据现有的库表快速生成flask实体类

flask依据现有的库表快速生成flask实体类 在实际开发过程中,flask的sqlalchemy对应的model类写起来重复性较强,如果表比较多会比较繁琐,这个时候可以使用 flask-sqlacodegen 来快速的生成model程序或者py文件,以下是简单的示例&a…

Echart力引导依赖关系布局图

Echarts ECharts(Enterprise Charts)Apache ECharts是百度开发的一款开源的 JavaScript 数据可视化库。它提供了丰富的图表和图形,适用于在 Web 应用程序中创建各种交互式和动态的数据可视化图表。ECharts支持各种图表类型,包括折…

一. BEV感知算法介绍

目录 前言1. BEV感知算法的概念2. BEV感知算法数据形式3. BEV开源数据集介绍3.1 KITTI数据集3.2 nuScenes数据集 4. BEV感知方法分类4.1 纯点云方案4.2 纯视觉方案4.3 多模态方案 5. BEV感知算法的优劣6. BEV感知算法的应用介绍7. 课程框架介绍与配置总结下载链接参考 前言 自动…

Java中wait()方法在synchronized方法中调用的奥秘

作为一名Java程序员,我们深知synchronized关键字和wait()方法在多线程编程中的重要性。 在本文中,我们将探讨为什么wait()方法需要在synchronized方法中调用,以及它们是如何协同工作的。 首先,让我们了解一下synchronized关键字和…

单独开辟一个线程去执行一个函数

std::string windowName "MyWindow";int index 1;// 在新线程中调用ThreadFunctionstd::thread t(ThreadFunction, index, windowName);t.join();std::thread thread1(ThreadFunction, 0, "窗口1");std::thread thread2(ThreadFunction, 100, "窗口…

线程的认识,本质,和进程的区别,哪些结构是共享/独立的,切换成本,不同os下的线程

目录 再次认识进程 用户视角 内核视角 引入线程 概念 调度的基本单位 模拟出图像 思考 线程的本质 线程和进程的区别 线程哪些结构是共享的 引入 地址空间 系统资源 ​编辑 线程哪些结构是单独拥有 引入 地址空间 系统资源 线程间切换的成本更低 linu…

1.8 C语言之参数传递

1.8 C语言之参数传递 一、参数传递 一、参数传递 在C语言中,所有的参数传递都是值传递,也就是说,传递给被调用函数的参数值存放在临时变量中,而不是存放在原来的变量中。这与其他语言的引用传递有所不同。在C语言中,被…

模拟实现顺序表

模拟实现顺序表 一:线性表1:线性表的概念: 二:顺序表:1:顺序表的概念:1. 实现 ArrayList 类 一:线性表 1:线性表的概念: 线性表是n个具有相同特性的数据元素的有限序列。 常见的线性表有&…

代码随想录算法训练营第五十九天|503. 下一个更大元素 II、42. 接雨水

第十章 单调栈part02 503. 下一个更大元素 II 给定一个循环数组 nums ( nums[nums.length - 1] 的下一个元素是 nums[0] ),返回 nums 中每个元素的 下一个更大元素 。 数字 x 的 下一个更大的元素 是按数组遍历顺序,这个数字之…

快速去除Excel表格密码,轻松解锁保护,省时又省力

“忘记了Excel表格的密码?不用担心!一种简单安全的方法帮你解决。具体步骤如下:第一步,打开电脑或手机并进入百度搜索。第二步,输入关键词‘密码帝官网’并点击搜索。第三步,找到官网后点击立即开始。第四步…