pulsar集群搭建_亲测成功

pulsar集群搭建_亲测成功

单机运行请看:

Linux MacBook单机部署Pulsar并开启认证功能

集群组成

  1. 搭建 Pulsar 集群至少需要 3 个组件：ZooKeeper 集群、BookKeeper 集群和 broker 集群（Broker 是 Pulsar 的自身实例)。这三个集群组件如下：

  • ZooKeeper 集群（3(或多) 个 ZooKeeper 节点组成）

  • bookie 集群（也称为 BookKeeper 集群，3(或多) 个 BookKeeper 节点组成）

  • broker 集群（3(或多) 个 Pulsar 节点组成）

  1. Pulsar 的安装包已包含了搭建集群所需的各个组件库。无需单独下载 ZooKeeper 安装包和 BookKeeper 安装包。

环境准备

安装JDK

在所需服务器上安装 JDK（要求版本不低于 JDK 8）安装请看:

Linux卸载openjdk并安装Oracle jdk

MacBook安装jdk8

下载最新版本pulsar
官方下载地址:https://pulsar.apache.org/download/
上传至服务器

解压安装包到指定目录

tar -zxvf apache-pulsar-2.8.0-bin.tar.gz -C /home/software

安装建议

官方建议需要6台机器：

  • 3台用于运行Zookeeper集群, 建议使用性能较弱的机器, Pulsar仅将Zookeeper用于与协调有关的定期任务和与配置有关的任务,而不用于基本操作.

  • 3台用于运行bookie集群和broker集群,建议使用性能强劲的机器.

但是也可以在一台机器上同时部署Zookeeper,bookie,broker,也就是最少需要三台机器就可以部署一个Pulsar集群.

其实也还可以在3台机器上部署Zookeeper集群,另外3台机器部署bookie集群,在另外3台机器部署broker集群,也就是一共需要消耗9台机器.

总结: 部署一个Pulsar集群(包含一个Zookeeper集群(3个Zookeeper节点组成), 一个bookie集群(也称为Bookeeper集群,3个Bookeeper节点组成), 一个broker集群(3个Pulsar节点组成)), 最少需要3台机器, 官方建议6台机器, 最多需要9台机器.

3台机器集群为例

192.168.1.17

192.168.1.18

192.168.1.19

先搭建zookeeper的集群

#在17 18 19上分别创建目录
mkdir -pv /home/software/zookeeper/logs#17上执行
echo 1 > /home/software/zookeeper/myid 
#18上执行
echo 2 > /home/software/zookeeper/myid 
#19上执行
echo 3 > /home/software/zookeeper/myid#分别修改三台zookeeper配置
vim /home/software/apache-pulsar-2.8.0/conf/zookeeper.conf
#zookeeper数据保存目录 
dataDir=/home/software/zookeeper
#日志保存目录
dataLogDir=/home/software/zookeeper/logs
#端口,默认:2181,如果被占用,请修改,我这里修改为:12181
clientPort=12181#最后加入集群配置,server.后面的数字(编号),要和上面写入myid相对应
#端口一般配置为:2888:3888,我这里修改为了:12888:13888
server.1=192.168.1.17:12888:13888
server.2=192.168.1.18:12888:13888
server.3=192.168.1.19:12888:13888#分别启动三台zookeeper: 执行后台运行命令
bin/pulsar-daemon start zookeeper#停止zookeeper命令
bin/pulsar-daemon stop zookeeper#查看启动情况
ps aux|grep pulsar#查看端口启动情况
netstat -tpnl |grep 12181
netstat -tpnl |grep 2181

最后验证 ZooKeeper 节点是否启动成功

#执行 zookeeper 客户端连接命令
#如果是默认端口情况下,执行如果命令连接
bin/pulsar zookeeper-shell#指定ip和端口的情况下,执行如下命令连接
bin/pulsar zookeeper-shell -server 192.168.1.17:12181bin/pulsar zookeeper-shell -server 192.168.1.18:12181bin/pulsar zookeeper-shell -server 192.168.1.19:12181#查看所有zk节点数据,命令如下
ls /
#显示如下,表示zk的集群已经搭建好了
[zookeeper]

初始化集群元数据

#先查看端口占用情况,避免后面启动时会报端口占用错误
netstat -tpnl |grep 8080  
netstat -tpnl |grep 8443
netstat -tpnl |grep 6650
netstat -tpnl |grep 6651# 在任一个 zooKeeper 节点,如:18，初始化集群元数据
# 进入Apache-pulsar 目录
# 执行命令初始化集群元数据
bin/pulsar initialize-cluster-metadata \
--cluster pulsar-cluster-iot \
--zookeeper 192.168.1.18:12181 \
--configuration-store 192.168.1.18:12181 \
--web-service-url http://192.168.1.17:18080,192.168.1.18:1808,192.168.1.19:1808 \
--web-service-url-tls https://192.168.1.17:8443,192.168.1.18:8443,192.168.1.19:8443 \
--broker-service-url pulsar://192.168.1.17:6650,192.168.1.18:6650,192.168.1.19:6650 \
--broker-service-url-tls pulsar+ssl://192.168.1.17:6651,192.168.1.18:6651,192.168.1.19:6651#注意: 这个命令只设置了一个节点的元数据, 后面访问其他节点有问题, 请用上面的命令
bin/pulsar initialize-cluster-metadata \
--cluster pulsar-cluster-iot \
--zookeeper 192.168.1.18:12181 \
--configuration-store 192.168.1.18:12181 \
--web-service-url http://192.168.1.18:18080 \
--web-service-url-tls https://192.168.1.18:8443 \
--broker-service-url pulsar://192.168.1.18:6650 \
--broker-service-url-tls pulsar+ssl://192.168.1.18:6651#连接任意一台zookeeper,比如:17
bin/pulsar zookeeper-shell -server 192.168.1.17:12181
#查询数据
ls /
#显示如下,有bookies,pulsar等信息,表示成功初始化
[admin, bookies, ledgers, managed-ledgers, namespace, pulsar, stream, zookeeper]

重新初始化或删除数据时

建议: 先停掉zookeeper, 然后直接删除三台zookeeper数据目录,然后在重新启动

重新初始化,删除zookeeper里的数据, 除了这个zookeeper不删除

这样删除启动bookie 报错,把zookeeper集群停了,删除目录数据

#删除命令
delete /bookiesdelete /counters
报错:
Node not empty: /counters#deleteall命令。它将递归删除路径下的所有节点
deleteall /counters

配置部署 BookKeeper 集群

#分别每个节点执行#创建bookie所需要目录
mkdir -pv /home/software/bookkeeper/tmp/journal
mkdir -pv /home/software/bookkeeper/tmp/ledger#注意下面的配置:修改每个节点对应的ip# 进入bookie 配置文件目录，编辑 bookkeeper.conf 文件
vim bookkeeper.conf# advertisedAddress 修改为服务器对应的ip,在另外两台服务器也做对应的修改advertisedAddress=192.168.1.17
advertisedAddress=192.168.1.17# 修改以下两个文件目录地址
journalDirectory=/home/software/bookkeeper/tmp/journalledgerDirectories=/home/software/bookkeeper/tmp/ledger# 修改zk地址和端口信息
zkServers=192.168.1.17:12181,192.168.1.18:12181,192.168.1.19:12181#查看8000端口是否占用, 如果占用,修改为8100
netstat -tpnl |grep 8000   #httpServerPort默认也是8000,建议修改,我这里修改为:8100
prometheusStatsHttpPort=8100# 初始化元数据，并启动 bookie 集群
# 执行初始化元数据命令；若出现提示，输入 Y，继续（只需在任意一个bookie节点执行一次）
bin/bookkeeper shell metaformat#初始化成功#修改端口
vim bookkeeper.conf
prometheusStatsHttpPort=8100#bookie关闭命令
bin/pulsar-daemon stop bookie#启动bookie命令,以后台进程启动bookie
bin/pulsar-daemon start bookie#查看日志,因为8000端口被占用,如果上面修改为:8100,就不会报此错误
vim logs/pulsar-bookie-rabbitmq1.log 
Caused by: java.io.IOException: Failed to bind to /0.0.0.0:8000
Caused by: java.net.BindException: 地址已在使用#按照以上步骤，启动另外两个 bookie 节点。#验证是否启动成功
bin/bookkeeper shell bookiesanity#出现如下显示，表示启动成功Bookie
Bookie sanity test succeeded

部署配置 Broker 集群

#修改配置文件 broker.confvim conf/broker.conf 
# 修改集群名，和 ZooKeeper 里初始化元数据时指定的集群名(--cluster pulsar-cluster-iot)相同
clusterName=pulsar-cluster-iot# 修改如下两个配置，指定的都是 ZooKeeper 集群地址和端口号zookeeperServers=192.168.1.17:12181,192.168.1.18:12181,192.168.1.19:12181
configurationStoreServers=192.168.1.17:12181,192.168.1.18:12181,192.168.1.19:12181# 修改如下参数为本服务器ip地址，另外两个 broker 节点配置文件也做对应修改
advertisedAddress=192.168.1.17#由于8080端口被占用,修改为18080
webServicePort=18080#启动 broker 节点# 以后台进程启动 broker
bin/pulsar-daemon start broker#停止 broker
bin/pulsar-daemon stop broker # 查看集群 brokers 节点情况
bin/pulsar-admin brokers list pulsar-cluster-iot
#报错:
HTTP 404 Not Found#客户端修改,需要修改端口:18080
vim conf/client.conf 
修改为18080端口
webServiceUrl=http://localhost:18080/bin/pulsar-admin brokers list pulsar-cluster-iot
bin/pulsar-admin brokers list pulsar-cluster
bin/pulsar-admin --admin-url http://192.168.1.17:18080 brokers list pulsar-cluster-iot#显示如下:表式集群搭建成功
"192.168.1.17:18080"
"192.168.1.18:18080"
"192.168.1.19:18080"#查看端口启动情况
netstat -tpnl |grep 8080
netstat -tpnl |grep 18080#报错如下,都是端口占用情况
Caused by: java.io.IOException: Failed to bind to /0.0.0.0:8080
Caused by: java.net.BindException: 地址已在使用

测试

#订阅
bin/pulsar-client consume \persistent://public/default/test \-n 100 \-s "consumer-test" \-t "Exclusive"#发送
bin/pulsar-client produce \persistent://public/default/test \-n 1 \-m "Hello Pulsar"----- 收到消息 -----
Hello Pulsar

参考链接:
https://www.jianshu.com/p/715ead13ecce
https://blog.51cto.com/u_536410/2408686
https://blog.csdn.net/daydreameri/article/details/105031977
https://www.jianshu.com/p/dd328bdd2a32

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/62605.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Linux】root和子用户都能执行的命令，sudo无法执行（已解决）

【Linux】root和子用户都能执行的命令，sudo无法执行（已解决）

全流程帖子 https://ask.oceanbase.com/t/topic/35604437/7 1.问题 如题，在编译miniob的时候遇到如下错误 [muvm-cnt8:~/code/miniob]$ sudo bash build.sh init build.sh init HEAD is now at 5df3037d Merge branch release-2.1.12-stable-pull into patches-2.…
阅读更多...
【2D/3D RRT* 算法】使用快速探索随机树进行最佳路径规划（Matlab代码实现）

【2D/3D RRT* 算法】使用快速探索随机树进行最佳路径规划（Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…
阅读更多...
哪些情况需要用到云渲染？原来云渲染有这么多好处！

哪些情况需要用到云渲染？原来云渲染有这么多好处！

当前，CG行业发展迅猛，云渲染已成为越来越多的设计师必不可少的工具。在许多情况下，云渲染都能发挥重要的作用。 情况1：项目时间紧急 在当今繁忙的设计行业中，许多设计师需要通宵加班才能完成繁琐的工作。然而&#xf…
阅读更多...
使用selenium实现对页面元素的抓取

使用selenium实现对页面元素的抓取

一、背景介绍 工作中有个需求是需要对某个页面进行监控，但由于要监控页面数据是异步加载的，因此很难从状态码和返回结果层面进行校验。于是乎想到了通过判断页面元素是否存在且显示内容是否正确来达到此目标。调研了一下发现selenium可以实现对这种动态…
阅读更多...
跨境做独立站，如何低成本引流？

跨境做独立站，如何低成本引流？

大家都知道，海外的消费习惯与国内不同，独立站一向是海外消费者的最喜欢的购物方式之一，这也吸引了许多跨境商家开设独立站。 独立站不同于其他的第三方平台，其他平台可以靠平台自身流量来获得转化，而独立站本身没有流…
阅读更多...
Python分享之redis(3)

Python分享之redis(3)

3、List 操作 redis中的List在在内存中按照一个name对应一个List来存储 lpush(name,values) # 在name对应的list中添加元素，每个新的元素都添加到列表的最左边 r.lpush("list_name",2) r.lpush("list_name",3,4,5)#保存在列表中的顺序为5&am…
阅读更多...
【linux命令讲解大全】040. 文件操作：使用touch命令创建和更新文件

【linux命令讲解大全】040. 文件操作：使用touch命令创建和更新文件

文章目录 touch补充说明语法选项参数示例 从零学 python touch 创建新的空文件或更新已存在文件的时间标签。 补充说明 touch命令具有两个功能： 更新已存在文件的时间标签为当前系统时间（默认方式），文件的数据保持不变。创建新…
阅读更多...
Git结合Gitee的企业开发模拟

Git结合Gitee的企业开发模拟

本系列有两篇文章： 一是另外一篇《快速使用Git完整开发》，主要说明了关于Git工具的基础使用，包含三板斧（git add、git commit、git push）、Git基本配置、版本回退、分支管理、公钥与私钥、远端仓库和远端分支、忽略文…
阅读更多...
桌面端后台项目笔记

桌面端后台项目笔记

套用模板 vue-pure-admin 所用主要框架笔记 1. electron app const { app } require(electron) app.on(事件名, () > {} // 回调函数)常用事件 will-finish-launching 当应用程序完成基础的启动的时候触发ready：electron完成初始化时触发window-all-close…
阅读更多...
基于深度学习的网络异常检测方法研究

基于深度学习的网络异常检测方法研究

摘要： 本文提出了一种基于深度学习的网络异常检测方法，旨在有效地识别网络中潜在的异常行为。通过利用深度学习算法，结合大规模网络流量数据的训练，我们实现了对复杂网络环境下的异常行为的准确检测与分类。实验结果表明&#xf…
阅读更多...
css3有哪些新特性?(包含哪些模块)

css3有哪些新特性?(包含哪些模块)

css3有哪些新特性?包含哪些模块？以下是整理的21个css3新特性： 1.新增选择器 p:nth-child(n){color: rgba(255, 0, 0, 0.75)} 2.新增伪元素 ::before 和 ::after 3.弹性盒模型 display: flex; 4.多列布局 column-count: 5; 5.媒体查询 media (max-width:…
阅读更多...
数据库约束

数据库约束

文章目录 1. 简介2. 代码演示3. 外键约束4. 外键删除和更新行为 1. 简介 概念：约束时作用于表中子段上的规则，用于限制存储在表中的shuju目的：保证数据库中数据的正确、有效性和完整性分类： 约束描述关键字非空约束限制该字段不…
阅读更多...
什么是 TF-IDF 算法？

什么是 TF-IDF 算法？

简单来说，向量空间模型就是希望把查询关键字和文档都表达成向量，然后利用向量之间的运算来进一步表达向量间的关系。比如，一个比较常用的运算就是计算查询关键字所对应的向量和文档所对应的向量之间的 “相关度”。 简单解释TF-IDF TF &…
阅读更多...
【PHP】Swoole：一款强大的PHP网络编程工具

【PHP】Swoole：一款强大的PHP网络编程工具

在科学计算领域，Swoole是一款功能强大的PHP扩展，它提供了高性能的网络通信和异步编程功能。Swoole不仅支持TCP、UDP、Unix Socket和HTTP等通信协议，还具有异步并发处理能力，使得PHP开发者能够轻松地构建高性能的网络应用程序。 1…
阅读更多...
逻辑回归算法学习笔记

逻辑回归算法学习笔记

逻辑回归算法介绍： 逻辑回归是一种常用的分类算法，用于将数据分为两个类别。与线性回归不同，逻辑回归使用的是逻辑函数（sigmoid函数）将线性输出转换为概率值，并根据概率进行分类。在本学习笔记中&#xff0…
阅读更多...
蒲公英路由器如何设置远程打印？

蒲公英路由器如何设置远程打印？

现如今，打印机已经是企业日常办公中必不可少的设备，无论何时何地，总有需要用到打印的地方，包括资料文件、统计报表等等。 但若人在外地或分公司，有文件急需通过总部的打印机进行打印时，由于不在同一物理网络…
阅读更多...
ceph对象三元素data、xattr、omap

ceph对象三元素data、xattr、omap

这里有一个ceph的原则，就是所有存储的不管是块设备、对象存储、文件存储最后都转化成了底层的对象object，这个object包含3个元素data，xattr，omap。data是保存对象的数据，xattr是保存对象的扩展属性，每个对象…
阅读更多...
cortex-A7核LED灯实验--STM32MP157

cortex-A7核LED灯实验--STM32MP157

实验目的：实现LED1 / LED2 / LED3三盏灯工作 一，分析电路图 1，思路 分析电路图可知： 网络编号 引脚编号 LED1 PE10 LED2 > PF10 LED3 > PE8 2，工作原理： 写1：LED灯亮&#xf…
阅读更多...
Spring Cloud Alibaba-Sentinel规则

Spring Cloud Alibaba-Sentinel规则

1 流控规则 流量控制，其原理是监控应用流量的QPS(每秒查询率) 或并发线程数等指标，当达到指定的阈值时 对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性。 第1步: 点击簇点链路，我们就可以看到访…
阅读更多...
linux shell函数和返回值

linux shell函数和返回值

shell函数可以有返回值，但是只能返回0-255作为状态值，不能返回字符串，字符串可以通过其他方式传递给调用者 1.shell函数的return 小于255的值 ~/Desktop$ cat b.sh getLastSize() { size2 return $size }getLastSize lastSize$? echo &qu…
阅读更多...
最新文章

Copyright @ 2022~2023