消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

消息队列

消息队列：它主要用来暂存生产者生产的消息，供后续其他消费者来消费。

它的功能主要有两个：

  • 暂存（存储）
  • 队列（有序：先进先出

从目前互联网应用中使用消息队列的场景来看，主要有以下三个：

  • 异步处理数据
  • 系统应用解耦
  • 业务流量削峰

消息队列模型

点对点模式

  • 多个生产者可以向同一个消息队列发送消息，一个消息只能被一个消费者消费，在被消费成功后，这条消息会被移除。如果消费者处理消息失败了，那么这条消息会重新被消费。

发布/订阅模式：

  • 单个消息可以被多个订阅者并发的获取和处理。多个生产者可以将多个消息写到同一个 Topic 中，被同一个消费者消费。

消息队列对比

ActiveMQ：ActiveMQ 由 Apache 软件基金会基于 Java 语言开发的一个开源的消息代理。能够支持多个客户机或服务器。计算机集群等属性支持 ActiveMQ 来管理通信系统。

RabbitMQ：RabbitMQ 是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ 服务器是用 Erlang 语言编写的，而集群和故障转移是构建在开放电信平台框架上的。

所有主要的编程语言均有与代理接口通讯的客户端库。RabbitMQ 支持多种消息传递协议、传递确认等特性。

Kafka：Apache Kafka 是由 Apache 软件基金会开发的一个开源消息系统项目，由 Scala 写成。

Kafka 最初是由 LinkedIn 开发，并于 2011 年初开源。2012 年 10 月从 Apache Incubator 毕业。

该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。Kafka 是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。

RocketMQ：Apache RocketMQ 是一个分布式消息和流媒体平台，具有低延迟、强一致、高性能和可靠性、万亿级容量和灵活的可扩展性。它有借鉴 Kafka 的设计思想，但不是 Kafka 的拷贝。

Pulsar：Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计。

特性ActiveMQRabbitMQRocketMQKafkaPulsar
推出时间        20032007201220102016
所属公司        Mozilla public LicenseApacheApacheYahoo/Apache/顶级
特点erlang语言发开，性能一般，出现比较早，有一定的用户基数各个环节分布式扩展设计，主从HA,多种消费模式，性能很 好高吞吐量、持久化数据存储、分布式系统易于扩展，性能极好灵活、多租户、云原生架构、跨地域复制，性能超极好
单机吞吐量万级，吞吐量比RocketMQ和Kafka要低了一个数量级万级，吞吐量比RocketMQ和Kafka要低了一个数量级10万级，RocketMQ 也是可以支撑高吞吐的 MQ10万级别，吞吐量高是kafka最大的优点100万+，高吞吐，支持强一致
支持主题数千级百万级千级，topic 达到千级时吞吐量会有较小幅度的下降。可以支撑大量 topic 是 RocketMQ 的一大优点不限制，topic 达到百级时吞吐量会大幅度下降，要尽量保证 topic 数量不要过多，否则需要增加更多机器资源Pulsar采用存算分离的架构，数据采用bookeeper存储，上层broker是无状态代理，两层可以对扩容，因此topic个数对吞吐量不会产生显著的影响。可无缝扩展到超过百万个 topic
事务支持支持支持支持支持
消息顺序性有序有序有序分区有序有序
消息重复至少一次至少一次至少一次，最多一次至少一次，最多一次
时效性ms级微秒级，RabbitMQ的一大优点ms级ms级ms级
可用性高，基于主从架构实现高，基于主从架构实现非常高，分布式架构非常高，分布式架构，一个数据多个副本，少数机器宕机，不会丢失数据，不会导致不可用非常高，分布式架构，broker层是无状态代理，动态扩容，数据存储层bookkeeper采用segment-oriented存储机制，无写入不可用风向
消息可靠性有较低的概率丢失数据有较低的概率丢失数据经过参数优化配置，消息可以做到0丢失。消息都是持久化的，先写入系统 PAGECACHE，然后刷盘，可以保证内存与磁盘都有一份数据；经过参数优化配置，理论上消息可以做到0丢失经过参数配置后，可以做到0丢失
消息回溯不支持不支持支持（按时间回溯）支持（按offset回溯）
功能支持MQ领域的功能极其完备基于erlang开发，所以并发能力很强，性能极其好，延时很低MQ功能较为完善，还是分布式的，扩展性好功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及日志采集被大规模使用，是事实上的标准云原生时代的新一代消息中间件，社区活跃、支持多租户、强一致、跨域部署等诸多特性
伸缩性一般高伸缩性，灵活的分布式横向扩展部署架构，整体架构和 kafka 很像高伸缩性，每个主题（topic）包含多个分区（partition），主题中的分区可以分布在不同的主机（broker）中Pulsar 采用了 BookKeeper，因此伸缩性更灵活
管理界面普通普通完善普通完善
持久化可以持久化到内存、文件、数据库持久化不好，可以持久化到内存、文件消息可以持久化到磁盘磁盘磁盘
消息路由支持不支持不支持支持
语言支持支持多语言，Java优先支持几乎所有最受欢迎的编程语言：Java，C，C ++，C＃，Ruby，Perl，Python，PHP等支持Java、C++，但C++不成熟支持多语言，Java优先

Java、C、C++

、Python、Go、.NET、Node

社区活跃度高高一般高高
消息的存活时间不支持支持消息TTL

Pulsar 架构

Pulsar 由 Producer、Consumer、多个 Broker 、一个 BookKeeper 集群、一个 Zookeeper 集群构成，具体如下图所示。

Pulsar 的多层架构影响了存储数据的方式。Pulsar 将 topic 分区划分为分片（segment），然后将这些分片存储在 Apache BookKeeper 的存储节点上，以提高性能、可伸缩性和可用性。 

跟Kafka不同的是，Pulsar的消息存储模型采用了分层的方式。 

1665322226595

第一层是Topic，用来存储Producer追加的messages，Topic下面是ledger层，保存了分片(Segment)，分片里面保存更小粒度的ertries，entries存储一条条的Message。

Bookkeeper中，数据的最小操作单位是Segment。

Ledger中的最后一个分片是最新写入的分片，如上图Segment-2。Segment-2之前的所有分片已完成封装，这些分片的数据是不会再发生变化的。这样增加或删除一个BookKeeper节点，或者迁移长期存储节点，都不会发生一致性问题。

Apache Pulsar 支持四种不同订阅模式

单个应用程序的订阅模式由排序和消费可扩展性需求决定。以下为这四种订阅模式及相关的排序保证。

  • 独占（Exclusive）同一个topic只能有一个消费者订阅，如果多个消费者订阅，就会出错。Exclusive模式为默认订阅模式。

  • 灾备（Failover）订阅模式都在分区级别支持强序列保证，支持跨 consumer 并行消费同一 topic 上的消息。同一个topic可以有多个消费者订阅，但是只能有一个消费者消费，其他订阅 的消费者作为故障转移的消费者，只有当前消费者出了故障才可以进行消费当前的topic。如下图：

1665322689189

  • 共享（Shared）订阅模式支持将 consumer 的数量扩展至超过分区的数量，因此这种模式非常适合 worker 队列应用场景。同一个topic可以由多个消费者订阅和消费。消息通过round robin轮询机制分发给不同的消费者，并且每个消息仅会被分发给一个消费者。当消费者断开，发送给它的没有被消费的消息还会被重新分发给其它存活的消费者。如下图：

1665322808164

  • 键共享（Key_Shared）订阅模式结合了其他订阅模式的优点，支持将 consumer 的数量扩展至超过分区的数量，也支持键级别的强序列保证。消息和消费者都会绑定一个key，消息只会发送给绑定同一个key的消费者。如果有新消费者建立连接或者有消费者断开连接，就需要更新一些消息的key。

1665322855293

 Kafka 架构

参考：360度无死角 | Pulsar与Kafka对比全解析-腾讯云开发者社区-腾讯云

Kafka 机器数量（经验公式）=2*（峰值生产速度副本数/100）+1
峰值速度：比如flume读取日志文件往kafka里写数据的峰值速度，得问公司上游业务团队获得
副本数：topic的副本数，一般是2个（3个）

Topic数量本身无限制，但Topic的分区数之和有上限，当达到上限后，会导致用户无法继续创建Topic。

Kafka架构由broker和zookeeper组成，如下图：

Broker Leader

Kafka采用分区(Partition)的方式来保存topic，每个topic都会在不同的broker保存多个分区副本，其中只有一个副本的分区是leader分区，供消费者使用。若干个broker作为follower。所有的数据读写都通过leader所在的服务器进行，并且leader在不同broker之间复制数据。如果某个broker宕机了，这个broker上的leader分区失效，需要在其他broker上重新进行选举。模型图如下：

1665322165190

Kafka的消费模型是采用消费者组的模式，每一个分区只能给消费者组中的一个消费者消费。Leader Broker 1再将数据复制到follower Broker 2和Broker 3。如下图：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/674835.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

c入门第十篇——指针入门

c入门第十篇——指针入门

一句话来说: 指针就是存储了内存地址值的变量。 在前面讨论传值和传址的时候，我们就已经开始使用了指针来传递地址。 在正式介绍指针之前，我们先来简单了解一下内存。内存可以简单的理解为一排连续的房子的街道，每个房子都有自己的地址&#…
阅读更多...
华清作业day56

华清作业day56

SQLite特性： 零配置一无需安装和管理配置；储存在单一磁盘文件中的一个完整的数据库；数据库文件可以在不同字节顺序的机器间自由共享；支持数据库大小至2TB；足够小，全部源码大致3万行c代码，250KB…
阅读更多...
midnightsun-2018-flitbip：任意地址写

midnightsun-2018-flitbip：任意地址写

题目下载 启动脚本 启动脚本如下，没开启任何保护 #!/bin/bash qemu-system-x86_64 \-m 128M \-kernel ./bzImage \-initrd ./initrd \-nographic \-monitor /dev/null \-append "nokaslr root/dev/ram rw consolettyS0 oopspanic paneic1 quiet" 2>…
阅读更多...
“掌握温度，感知湿度，一触即知！”DHT11温湿度传感器，为您的生活增添一份关怀与精准。#非标协议【下】

“掌握温度，感知湿度，一触即知！”DHT11温湿度传感器，为您的生活增添一份关怀与精准。#非标协议【下】

“掌握温度，感知湿度，一触即知！”DHT11温湿度传感器，为您的生活增添一份关怀与精准。#非标协议【下】 前言预备知识1.DHT11温湿度传感器初识1.1产品概述1.2与51单片机接线1.3数据传送逻辑和数据格式 2.发送时序检测DHT11温湿度传感…
阅读更多...
从零开始手写mmo游戏从框架到爆炸（十一）— 注册与登录

从零开始手写mmo游戏从框架到爆炸（十一）— 注册与登录

导航：从零开始手写mmo游戏从框架到爆炸（零）—— 导航-CSDN博客 从这一章开始，我们进入业务的部分，从注册登录开始。 创建注册和登录的路由 package com.loveprogrammer.command.server;public interface Se…
阅读更多...
vue 实现一个持续时间定时器组件

vue 实现一个持续时间定时器组件

vue 实现一个定时器组件 效果图子组件父组件 效果图 子组件 新建一个timer.vue文件 <template><span :class"{red: string > 600}">{{ string | formatDurationS }}</span> </template> <script>export default {name: timer,pro…
阅读更多...
【十二】【C++】vector用法的探究

【十二】【C++】vector用法的探究

vector类创建对象 /*vector类创建对象*/ #if 1 #define _CRT_SECURE_NO_WARNINGS#include <iostream> using namespace std; #include <vector> #include <algorithm> #include <crtdbg.h>class Date {public:Date(int year 1900, int month 1, int …
阅读更多...
Mongodb启动为Windows服务开机自启动

Mongodb启动为Windows服务开机自启动

注意&#xff1a;mongodb的安装目录不应有中文&#xff0c;如果有&#xff0c;服务启动的路径会出现乱码&#xff0c;导致找不到对应的文件 1.安装好mongoDB 2.创建data目录&#xff0c;并在其中创建db目录和log目录 3.在log目录中创建mongodb.log文件 4.打开cmd&#xff08;用…
阅读更多...
(每日持续更新）jdk api之ObjectInputFilter.Status基础、应用、实战

(每日持续更新）jdk api之ObjectInputFilter.Status基础、应用、实战

博主18年的互联网软件开发经验&#xff0c;从一名程序员小白逐步成为了一名架构师&#xff0c;我想通过平台将经验分享给大家&#xff0c;因此博主每天会在各个大牛网站点赞量超高的博客等寻找该技术栈的资料结合自己的经验&#xff0c;晚上进行用心精简、整理、总结、定稿&…
阅读更多...
计算机网络基本知识（二）

计算机网络基本知识（二）

文章目录 概要分层为什么分层怎么分层&#xff1f;1.实体2.协议3.服务 分层基本原则正式认识分层详细例子解释 总结 概要 分层知识&#xff1a;概念理解 分层 为什么分层 大致以上五点 为了解决上面的问题&#xff08;复杂&#xff09; 大问题划分为小问题 怎么分层&#…
阅读更多...
代码随想录算法训练营第十五天|102.二叉树的层序遍历、226.翻转二叉树

代码随想录算法训练营第十五天|102.二叉树的层序遍历、226.翻转二叉树

102.二叉树的层序遍历 刷题https://leetcode.cn/problems/binary-tree-level-order-traversal/description/文章讲解https://programmercarl.com/0102.%E4%BA%8C%E5%8F%89%E6%A0%91%E7%9A%84%E5%B1%82%E5%BA%8F%E9%81%8D%E5%8E%86.html视频讲解https://www.bilibili.com/video…
阅读更多...
【前端素材】bootstrap4实现绿色植物Lukani平台

【前端素材】bootstrap4实现绿色植物Lukani平台

一、需求分析 绿色植物商城是一个专门销售绿色植物的零售商店或在线平台。它提供各种类型和品种的室内植物、室外植物和盆栽等。绿色植物商城的作用可以从以下几个方面来分析&#xff1a; 1. 提供多样化的选择&#xff1a;绿色植物商城通常会提供各种各样的绿色植物选项&…
阅读更多...
网络安全产品之认识准入控制系统

网络安全产品之认识准入控制系统

文章目录 一、什么是准入控制系统二、准入控制系统的主要功能1. 接入设备的身份认证2. 接入设备的安全性检查 三、准入控制系统的工作原理四、准入控制系统的特点五、准入控制系统的部署方式1. 网关模式2. 控制旁路模式 六、准入控制系统的应用场景七、企业如何利用准入控制系统…
阅读更多...
分布式系统架构介绍

分布式系统架构介绍

1、为什么需要分布式架构&#xff1f; 增大系统容量&#xff1a;单台系统的性能瓶颈&#xff0c;多台机器才能应对大规模的应用场景&#xff0c;所以就需要我们的应用支撑平台具备分布式架构。 加强系统的可用&#xff1a;为了满足业务的SLA要求&#xff0c;需要通过分布式架构…
阅读更多...
表单标记（html）

表单标记（html）

前言 发现input的type属性还是有挺多的&#xff0c;这里把一些常用的总结一下。 HTML 输入类型 (w3school.com.cn)https://www.w3school.com.cn/html/html_form_input_types.asp text-文本 文本输入,如果文字太长&#xff0c;超出的部分就不会显示。 定义供文本输入的单行…
阅读更多...
Stability AI一种新型随心所欲生成不同音调、口音、语气的文本到语音（TTS）音频模型

Stability AI一种新型随心所欲生成不同音调、口音、语气的文本到语音（TTS）音频模型

该模型无需提前录制人声样本作为参考&#xff0c;仅凭文字描述就能生成所需的声音特征。用户只需描述他们想要的声音特点&#xff0c;例如“一个语速较快、带有英国口音的女声”&#xff0c;模型即可相应地生成符合要求的语音。它不仅能模仿已有的声音&#xff0c;还能根据用户…
阅读更多...
Mac使用AccessClient打开Linux堡垒机跳转闪退问题解决

Mac使用AccessClient打开Linux堡垒机跳转闪退问题解决

登录公司的服务器需要使用到堡垒机&#xff0c;但是mac使用AccessClient登录会出现问题 最基础的AccessClient配置 AccessClient启动需要设置目录权限&#xff0c;可以直接设置为 权限 777 chmod 777 /Applications/AccessClient.app注: 如果不是这个路径,可以打开终端,将访达中…
阅读更多...
OJ刷题：求俩个数组的交集（没学哈希表？快排双指针轻松搞定！）

OJ刷题：求俩个数组的交集（没学哈希表？快排双指针轻松搞定！）

目录 ​编辑 1.题目描述 2.C语言中的内置排序函数&#xff08;qsort&#xff09; 3.解题思路 3.1 升序 3.2双指针的移动 3.3 保证加入元素的唯一性 4.leetcode上的完整代码 完结散花 悟已往之不谏&#xff0c;知来者犹可追 …
阅读更多...
新增C++max函数的使用

新增C++max函数的使用

在 C 中&#xff0c;max函数是标准库中的一个函数&#xff0c;用于返回两个或多个元素中的最大值。max函数的声明如下&#xff1a; cpp #include <algorithm>template<class T> const T& max(const T& a, const T& b);这个函数接受两个同类型的参数a…
阅读更多...
UML 2.5图形库

UML 2.5图形库

UML 2.5图形库 drawio是一款强大的图表绘制软件&#xff0c;支持在线云端版本以及windows, macOS, linux安装版。 如果想在线直接使用&#xff0c;则直接输入网址drawon.cn或者使用drawon(桌案), drawon.cn内部完整的集成了drawio的所有功能&#xff0c;并实现了云端存储&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023