消息队列篇--原理篇--Pulsar（Namespace，BookKeeper，类似Kafka甚至更好的消息队列）

Apache Pulusar是一个分布式、多租户、高性能的发布/订阅（Pub/Sub）消息系统，最初由Yahoo开发并开源。它结合了Kafka和传统消息队列的优点，提供高吞吐量、低延迟、强一致性和可扩展的消息传递能力，适用于大规模分布式系统的实时数据处理和异步通信。
Pulsar的架构设计结合了消息队列和流处理的特点，既可以作为传统消息队列使用，也可以作为流处理平台支持实时数据处理。

主要特点：

  • 分布式架构：Pulsar采用分层架构，将消息存储与代理服务分离，提供了更好的水平扩展能力和故障隔离。
  • 多租户支持：Pulsar支持多租户部署，不同租户可以共享同一集群，同时保证资源隔离和安全性。
  • 持久化和一致性：Pulsar支持消息的持久化存储，并通过BookKeeper提供强一致性保障。
  • 灵活的消息模型：Pulsar支持多种消息传递模式，包括Pub/Sub、P2P和Key_Shared订阅模式。
  • 多语言支持：Pulsar提供了多种编程语言的客户端库，如Java、Python、Go、C++等。
  • 丰富的生态：Pulsar拥有活跃的社区和丰富的生态系统，支持与其他工具和服务集成，如Kafka Connect、Flink、Spark等。

1、核心概念

（1）、命名空间（Namespace）

命名空间是Pulsar中的一个逻辑单元，用于组织和管理主题（Topic）。每个命名空间可以包含多个主题，并且可以为不同的命名空间设置不同的配置，例如保留策略、订阅类型等。命名空间通常用于实现多租户隔离。

（2）、主题（Topic）

主题是Pulsar中的消息通道，生产者（Producer）将消息发送到主题，消费者（Consumer）从主题中消费消息。

Pulsar支持两种类型的主题：

  • 持久化主题（Persistent Topic）：消息会被持久化存储，确保即使在broker故障的情况下也不会丢失。
  • 非持久化主题（Non-Persistent Topic）：消息不会被持久化存储，适用于对延迟敏感但对可靠性要求较低的场景。

（3）、订阅（Subscription）

订阅是消费者与主题之间的绑定关系。Pulsar支持多种订阅类型，每种订阅类型决定了消息的分发方式：

  • 独占订阅（Exclusive Subscription）：只有一个消费者可以订阅该主题，其他消费者无法订阅。
  • 共享订阅（Shared Subscription）：多个消费者可以订阅同一个主题，消息会被轮询分发给不同的消费者。
  • 故障转移订阅（Failover Subscription）：多个消费者可以订阅同一个主题，但只有一个是活跃的消费者，其他消费者作为备用。当活跃消费者失败时，备用消费者会接管消息消费。
  • Key_Shared 订阅：基于消息的key进行分区，确保相同key的消息总是被分发给同一个消费者。

（4）、消息（Message）

消息是Pulsar中的基本数据单位，由生产者发送到主题。

每个消息可以包含以下属性：

  • 消息体（Payload）：消息的实际内容，可以是任意二进制数据。
  • 消息ID（Message ID）：唯一标识每条消息的ID，用于确认消息的消费状态。
  • 属性（Properties）：用户可以为消息添加自定义的键值对属性，方便后续处理。
  • 时间戳（Timestamp）：消息的创建时间或发送时间。

（5）、分区（Partition）

Pulsar支持主题分区，即将一个主题划分为多个分区，每个分区可以独立地处理消息。分区可以提高主题的吞吐量和并发性，特别是在高负载场景下。Pulsar会自动将消息均匀分布到不同的分区中。

（6）、Broker

Broker是Pulsar的核心组件之一，负责接收生产者的消息并将其分发给消费者。注意，Broker不直接存储消息，而是将消息委托给BookKeeper进行持久化存储。Broker负责管理主题、订阅和消费者的连接，并处理消息的路由和分发。

（7）、BookKeeper

BookKeeper是Pulsar的持久化存储层，负责将消息持久化到磁盘。BookKeeper采用分布式日志存储机制，提供了高可用性和强一致性保障。每个消息会被写入多个BookKeeper节点，确保即使部分节点故障也不会丢失数据。

（8）、ZooKeeper

ZooKeeper是Pulsar的元数据管理组件，用于存储集群的配置信息、主题和命名空间的元数据、以及Broker和BookKeeper的状态信息。ZooKeeper提供了分布式协调服务，确保Pulsar集群的一致性和可靠性。

2、架构设计

Pulsar的架构设计采用了分层结构，将消息存储与代理服务分离，使得系统更加模块化和可扩展。

结构示例图：
在这里插入图片描述

Pulsar的主要组件及其作用：

  • Broker：负责接收生产者的消息并将其分发给消费者。Broker不直接存储消息，而是将消息委托给BookKeeper进行持久化存储。Broker还负责管理主题、订阅和消费者的连接。

  • BookKeeper：即上图BK Client。负责将消息持久化到磁盘，提供高可用性和强一致性保障。BookKeeper采用分布式日志存储机制，确保消息的安全性和可靠性。

  • Bookie：Bookie是BookKeeper的存储节点组成，持久化地存储消息。BookKeeper采用分布式日志存储的方式，将消息以日志的形式存储在多个Bookie节点上。这种设计确保了消息的可靠性和持久性，即使在节点故障的情况下也能保证消息不丢失。

  • ZooKeeper：负责存储集群的元数据，包括主题、命名空间、Broker和BookKeeper的状态信息。ZooKeeper提供了分布式协调服务，确保集群的一致性和可靠性。

  • Proxy（可选）：Pulsar提供了一个可选的代理层（Proxy），允许客户端通过HTTP或WebSocket协议与Pulsar集群进行通信。Proxy可以简化客户端的连接管理，并提供跨区域访问的能力。

  • Function：Pulsar提供了一个轻量级的流处理框架（Pulsar Functions），允许用户编写简单的流处理逻辑并将其部署到Pulsar集群中。Pulsar Functions可以用于实时数据处理、事件驱动计算等场景。

  • SQL：Pulsar提供了一个SQL查询引擎（Pulsar SQL），允许用户通过SQL语句查询Pulsar中的消息数据。Pulsar SQL可以用于数据分析、监控和告警等场景。

3、特性与优势

（1）、高吞吐量和低延迟

Pulsar采用了分层架构，将消息存储与代理服务分离，使得系统能够同时具备高吞吐量和低延迟。Broker负责处理消息的路由和分发，而BookKeeper负责持久化存储，两者相互协作，确保消息的高效传递。

（2）、多租户支持

Pulsar支持多租户部署，不同租户可以共享同一集群，同时保证资源隔离和安全性。每个租户可以拥有自己的命名空间，并可以根据需要设置不同的配置，例如保留策略、订阅类型等。
即：类似Nacos的命名空间，实现配置，服务等隔离。

（3）、持久化和一致性

Pulsar支持消息的持久化存储，并通过BookKeeper提供强一致性保障。每个消息会被写入多个Bookie节点，确保即使部分节点故障也不会丢失数据。Pulsar还支持事务和幂等性，确保消息的可靠传递。

（4）、灵活的消息模型

Pulsar支持多种消息传递模式，包括Pub/Sub、P2P和Key_Shared订阅模式。用户可以根据实际需求选择合适的订阅类型，满足不同的业务场景。Pulsar还支持消息的重播、回溯和跳过等功能，方便用户进行调试和故障排查。

（5）、多语言支持

Pulsar提供了多种编程语言的客户端库，包括Java、Python、Go、C++等。用户可以根据自己的技术栈选择合适的客户端库，快速集成Pulsar到应用程序中。

（6）、丰富的生态

Pulsar拥有活跃的社区和丰富的生态系统，支持与其他工具和服务集成。例如，Pulsar可以与Kafka Connect、Flink、Spark等工具集成，实现数据的实时处理和分析。Pulsar还提供了Pulsar Functions和Pulsar SQL等功能，进一步扩展了其应用场景。

4、应用场景

（1）、实时数据处理

Pulsar的高吞吐量和低延迟特性使其非常适合用于实时数据处理场景。例如，电商网站可以使用Pulsar来处理订单、支付、库存等实时数据，确保数据的及时性和准确性。

（2）、物联网（IoT）

Pulsar的分布式架构和多租户支持使其非常适合用于物联网场景。物联网设备可以将传感器数据发送到Pulsar，Pulsar可以将这些数据分发给不同的消费者进行处理。Pulsar还支持消息的重播和回溯功能，方便用户进行历史数据分析。

（3）、微服务架构

Pulsar可以作为微服务之间的消息总线，实现服务间的异步通信。微服务可以通过Pulsar发送和接收消息，避免阻塞主线程，提高系统的响应速度和稳定性。

（4）、日志收集和监控

Pulsar可以用于日志收集和监控场景，将应用的日志数据发送到Pulsar，Pulsar可以将这些数据分发给不同的消费者进行处理。Pulsar还支持消息的持久化存储，确保日志数据不会丢失。

（5）、事件驱动架构

Pulsar支持事件驱动架构，用户可以将事件发送到Pulsar，Pulsar可以将这些事件分发给不同的消费者进行处理。Pulsar还支持消息的重播和回溯功能，方便用户进行事件的回放和调试。

5、代码示例

（1）、生产者示例

import org.apache.pulsar.client.api.PulsarClient;
import org.apache.pulsar.client.api.Producer;
import org.apache.pulsar.client.api.MessageId;public class PulsarProducerExample {public static void main(String[] args) throws Exception {// 1、创建Pulsar客户端try (PulsarClient client = PulsarClient.builder().serviceUrl("pulsar://localhost:6650").build()) {// 2、创建生产者try (Producer<byte[]> producer = client.newProducer().topic("persistent://public/default/example-topic")    // 指定主题.create()) {// 3、发送消息for (int i = 0; i < 10; i++) {String message = "Hello, Pulsar! " + i;MessageId msgId = producer.send(message.getBytes());    // 发送消息System.out.println(" [x] Sent message: " + message + ", msgId: " + msgId);}}}}
}

（2）、消费者示例

import org.apache.pulsar.client.api.Consumer;
import org.apache.pulsar.client.api.Message;
import org.apache.pulsar.client.api.PulsarClient;
import org.apache.pulsar.client.api.SubscriptionType;public class PulsarConsumerExample {public static void main(String[] args) throws Exception {// 1、创建Pulsar客户端try (PulsarClient client = PulsarClient.builder().serviceUrl("pulsar://localhost:6650").build()) {// 2、创建消费者try (Consumer<byte[]> consumer = client.newConsumer().topic("persistent://public/default/example-topic")   // 监听的主题.subscriptionName("example-subscription").subscriptionType(SubscriptionType.Shared).subscribe()) {// 3、接收和消费消息while (true) {       // 利用循环接收消息Message<byte[]> msg = consumer.receive();      // 具体接收消息try {System.out.println(" [x] Received message: " + new String(msg.getData()));consumer.acknowledge(msg);  // 4、确认消息已消费} catch (Exception e) {consumer.negativeAcknowledge(msg);  // 5、处理失败，重新投递}}}}}
}

6、Pulsar总结

Apache Pulsar是一个功能强大、架构灵活的消息系统，特别适合大规模分布式系统的实时数据处理和异步通信。它的分层架构、多租户支持、持久化和一致性保障、灵活的消息模型等特点，使其在性能、可靠性和可扩展性方面表现出色。Pulsar还拥有丰富的生态系统，支持与其他工具和服务集成，适用于多种应用场景。

乘风破浪会有时，直挂云帆济沧海！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/67113.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

VS Code i18n国际化组件代码code显示中文配置 i18n ally

VS Code i18n国际化组件代码code显示中文配置 i18n ally

VUE项目做i18n国际化之后&#xff0c;代码中的中文都变成了code这时的代码就会显得非常难读&#xff0c;如果有一个插件能把code转换成中文显示就好了 vscode插件搜索“i18n ally” 在项目根文件夹下创建文件&#xff1a;.vscode/settings.json settings.json 内容如下 {"…
阅读更多...
图论汇总1

图论汇总1

1.图论理论基础 图的基本概念 二维坐标中&#xff0c;两点可以连成线&#xff0c;多个点连成的线就构成了图。 当然图也可以就一个节点&#xff0c;甚至没有节点&#xff08;空图&#xff09; 图的种类 整体上一般分为 有向图 和 无向图。 有向图是指 图中边是有方向的&a…
阅读更多...
为什么机器学习中梯度下降是减去斜率，而不是按照其数学意义减去斜率的倒数

为什么机器学习中梯度下降是减去斜率，而不是按照其数学意义减去斜率的倒数

做个简单假设&#xff0c;Loss函数的某一个参数的函数曲线是二次方程&#xff0c;其导数函数为 r 2 ∗ w r 2*w r2∗w 按照斜率意义来看&#xff0c;要减去斜率倒数 降低LOSS需要将w1更新为w2&#xff0c;所以更新公式为 w w − Δ L Δ w w w - \frac{\Delta L}{\Delta w…
阅读更多...
本地大模型编程实战(02)语义检索(2)

本地大模型编程实战(02)语义检索(2)

文章目录 准备按批次嵌入加载csv文件&#xff0c;分割文档并嵌入测试嵌入效果总结代码 上一篇文章&#xff1a; 本地大模型编程实战(02)语义检索(1) 详细介绍了如何使用 langchain 实现语义检索&#xff0c;为了演示方便&#xff0c;使用的是 langchain 提供的内存数据库。 在实…
阅读更多...
windows平台intel-vpl编译

windows平台intel-vpl编译

需要先在本机编译好opencl库 git clone --recursive https://github.com/KhronosGroup/OpenCL-SDK.git cmake -A x64 -T v143 -D OPENCL_SDK_BUILD_OPENGL_SAMPLESOFF -B OpenCL-SDK\build -S OpenCL-SDKcmake --build OpenCL-SDK\build --config Releasecmake --install O…
阅读更多...
[C语言日寄]exit函数的使用及其拓展

[C语言日寄]exit函数的使用及其拓展

【作者主页】siy2333 【专栏介绍】⌈c语言日寄⌋&#xff1a;这是一个专注于C语言刷题的专栏&#xff0c;精选题目&#xff0c;搭配详细题解、拓展算法。从基础语法到复杂算法&#xff0c;题目涉及的知识点全面覆盖&#xff0c;助力你系统提升。无论你是初学者&#xff0c;还是…
阅读更多...
激光雷达和相机早期融合

激光雷达和相机早期融合

通过外参和内参的标定将激光雷达的点云投影到图像上。 • 传感器标定 首先需要对激光雷达和相机&#xff08;用于获取 2D 图像&#xff09;进行外参和内参标定。这是为了确定激光雷达坐标系和相机坐标系之间的转换关系&#xff0c;包括旋转和平移。通常采用棋盘格等标定工具&…
阅读更多...
iic、spi以及uart

iic、spi以及uart

何为总线&#xff1f; 连接多个部件的信息传输线&#xff0c;是部件共享的传输介质 总线的作用&#xff1f; 实现数据传输&#xff0c;即模块之间的通信 总线如何分类&#xff1f; 根据总线连接的外设属于内部外设还是外部外设将总线可以分为片内总线和片外总线 可分为数…
阅读更多...
DeepSeek明确学术研究方向效果如何？

DeepSeek明确学术研究方向效果如何？

明确学术研究方向 在学术写作中&#xff0c;选择一个出色的研究主题至关重要&#xff0c;因为它直接关系到论文是否能登上高级别的学术期刊。不少学者在这个过程中走入了误区&#xff0c;他们往往将大把的时间花在写作本身&#xff0c;而忽略了对选题的深入思考&#xff0c;这…
阅读更多...
WPF实战案例 | C# WPF实现大学选课系统

WPF实战案例 | C# WPF实现大学选课系统

WPF实战案例 | C# WPF实现大学选课系统 一、设计来源1.1 主界面1.2 登录界面1.3 新增课程界面1.4 修改密码界面 二、效果和源码2.1 界面设计&#xff08;XAML&#xff09;2.2 代码逻辑&#xff08;C#&#xff09; 源码下载更多优质源码分享 作者&#xff1a;xcLeigh 文章地址&a…
阅读更多...
STM32 GPIO配置 点亮LED灯

STM32 GPIO配置 点亮LED灯

本次是基于STM32F407ZET6做一个GPIO配置&#xff0c;实现点灯实验。 新建文件 LED.c、LED.h文件&#xff0c;将其封装到Driver文件中。 双击Driver文件将LED.c添加进来 编写头文件&#xff0c;这里注意需要将Driver头文件声明一下。 在LED.c、main.c里面引入头文件LED.h LED初…
阅读更多...
window保存好看的桌面壁纸

window保存好看的桌面壁纸

1、按下【WINR】快捷键调出“运行”窗口&#xff0c;输入以下命令后回车。 %localappdata%\Packages\Microsoft.Windows.ContentDeliveryManager_cw5n1h2txyewy\LocalState\Assets 2、依次点击【查看】【显示】&#xff0c;勾选【隐藏的项目】&#xff0c;然后按【CtrlA】全部…
阅读更多...
TCP 三次握手四次挥手

TCP 三次握手四次挥手

目录 TCP 三次握手 1. SYN (Synchronize&#xff1a;同步) 2. SYN-ACK (Synchronize Acknowledge&#xff1a;同步确认) 3. ACK (Acknowledge&#xff1a;确认) 为什么是三次而不是两次或四次&#xff1f; 三次握手的作用 TCP 四次挥手 第一次挥手&#xff1a;客户端发送 FIN …
阅读更多...
C语言初阶牛客网刷题—— HJ34 图片整理【难度：中等】

C语言初阶牛客网刷题—— HJ34 图片整理【难度：中等】

1. 题目描述 牛客网在线OJ链接 Lily上课时使用字母数字图片教小朋友们学习英语单词&#xff0c;每次都需要把这些图片按照大小&#xff08;ASCII码值从小到大&#xff09;排列收好。请大家给Lily帮忙&#xff0c;通过C语言解决。 输入描述&#xff1a;Lily使用的图片包括 “A…
阅读更多...
MVCC底层原理实现

MVCC底层原理实现

MVCC的实现原理 了解实现原理之前&#xff0c;先理解下面几个组件的内容 1、 当前读和快照读 先普及一下什么是当前读和快照读。 当前读&#xff1a;读取数据的最新版本&#xff0c;并对数据进行加锁。 例如&#xff1a;insert、update、delete、select for update、 sele…
阅读更多...
python实现http文件服务器访问下载

python实现http文件服务器访问下载

//1.py import http.server import socketserver import os import threading import sys# 获取当前脚本所在的目录 DIRECTORY os.path.dirname(os.path.abspath(__file__))# 设置服务器的端口 PORT 8000# 自定义Handler&#xff0c;将根目录设置为脚本所在目录 class MyHTT…
阅读更多...
Cpp::静态 动态的类型转换全解析(36)

Cpp::静态 动态的类型转换全解析(36)

文章目录 前言一、C语言中的类型转换二、为什么C会有四种类型转换&#xff1f;内置类型 -> 自定义类型自定义类型 -> 内置类型自定义类型 -> 自定义类型隐式类型转换的坑 三、C强制类型转换static_castreinterpret_castconst_castdynamic_cast 四、RTTI总结 前言 Hell…
阅读更多...
2024年终总结：技术成长与突破之路

2024年终总结：技术成长与突破之路

文章目录 前言一、技术成长&#xff1a;菜鸟成长之路1. 学习与实践的结合2. 技术分享与社区交流 二、生活与事业的平衡&#xff1a;技术之外的思考1. 时间管理与效率提升2. 技术对生活的积极影响 三、突破与展望&#xff1a;未来之路1. 技术领域的突破2. 未来规划与目标 四、结…
阅读更多...
ComfyUI实现老照片修复——AI修复老照片（ComfyUI-ReActor / ReSwapper）解决天坑问题及加速pip下载

ComfyUI实现老照片修复——AI修复老照片（ComfyUI-ReActor / ReSwapper）解决天坑问题及加速pip下载

AI修复老照片&#xff0c;试试吧&#xff0c;不一定好~~哈哈 2023年4月曾用过ComfyUI&#xff0c;当时就感慨这个工具和虚幻的蓝图很像&#xff0c;以后肯定是专业人玩的。 2024年我写代码去了&#xff0c;AI做图没太关注&#xff0c;没想到&#xff0c;现在ComfyUI真的变成了工…
阅读更多...
思科交换机telnet配置案例

思科交换机telnet配置案例

目录 1.telnet简述2.网络拓扑3.设备说明4.网络配置4.1 电脑PC ip设置4.2 网络交换机telnet配置 5.小结 1.telnet简述 Telnet是远程登录服务的一个协议&#xff0c;该协议定义了远程登录用户与服务器交互的方式。它允许用户在一台联网的计算机上登录到一个远程分时系统中&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023