kafka排除zookeeper使用kraft的最新部署方案

kafka在新版本中已经可以不使用zookeeper进行服务部署，排除zookeeper的部署方案可以节省一些服务资源，这里使用 kafka_2.13-3.6.1.tgz 版本进行服务部署。

测试部署分为三个服务器：

服务器名称服务器IP地址
test01192.168.56.101
test02192.168.56.102
test03192.168.56.103
  1. 将下载的安装包分别上传到三个服务器并解压安装包：
[root@localhost ~]# tar -zvxf kafka_2.13-3.6.1.tgz
[root@localhost ~]# cd kafka_2.13-3.6.1
[root@localhost kafka_2.13-3.6.1]# pwd
/root/kafka_2.13-3.6.1
[root@localhost kafka_2.13-3.6.1]# ls
bin  config  libs  LICENSE  licenses  NOTICE  site-docs
[root@localhost kafka_2.13-3.6.1]#
  1. 修改配置文件，这里需要在三个服务器上面分别进行修改，需要调整修改几个地方如下：
[root@localhost kafka_2.13-3.6.1]# vim ./config/kraft/server.properties# 设置角色对应的节点ID，节点ID在集群内不能重复
node.id=1
# kraft中集群节点是有角色划分的，分为broker和controller，测试环境就不去做区分，所有节点都有两种角色
process.roles=broker,controller
# 指定controller仲裁节点列表
controller.quorum.voters=1@192.168.56.101:9093,2@192.168.56.102:9093,3@192.168.56.103:9093
# 指定数据存储目录
log.dirs=/root/kafka_2.13-3.6.1/datas
# 服务监听地址
listeners=PLAINTEXT://192.168.56.101:9092,CONTROLLER://192.168.56.101:9093
# 对外提供服务的地址和端口号，如果不设置将使用listeners配置的地址
advertised.listeners=PLAINTEXT://192.168.56.101:9092

完成上面的配置后，就可以进行服务器的启动了，首次启动服务器步骤如下：

  1. 生成集群ID，集群id生成使用下面的命令，这个命令只需要在一台服务器上面执行即可，记录生成的这个ID：
[root@localhost kafka_2.13-3.6.1]# ./bin/kafka-storage.sh random-uuid
nJID7Q7dT62E_ehtbO3RaA
  1. 分别在几台服务器上面使用集群ID格式化目录：
[root@localhost kafka_2.13-3.6.1]# ./bin/kafka-storage.sh format -t nJID7Q7dT62E_ehtbO3RaA -c ./config/kraft/server.properties
Formatting /root/kafka_2.13-3.6.1/datas with metadata.version 3.6-IV2.

上面命令执行完成后，配置的数据目录将会生成两个文件，其中 bootstrap.checkpoint 是一个二进制文件，meta.properties 是元数据文件：

[root@localhost kafka_2.13-3.6.1]# ls datas/
bootstrap.checkpoint  meta.properties
[root@localhost kafka_2.13-3.6.1]# 
[root@localhost kafka_2.13-3.6.1]# cat datas/meta.properties 
#
#Sat Feb 03 17:26:43 CST 2024
cluster.id=nJID7Q7dT62E_ehtbO3RaA
node.id=1
version=1
  1. 数据目录格式化完成后就可以启动服务，在启动服务时需要指定配置文件，同时可以通过参数来决定是前台启动服务还是后台启动：
# 后台启动：
$ ./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties
# 前台启动：
$ ./bin/kafka-server-start.sh ./config/kraft/server.properties

完成上面这些一个kafka集群就已经搭建成功了，不使用zookeeper使得服务搭建非常简单，目前这个版本还支持使用zookeeper方式的安装。

# 启动zookeeper服务
$ bin/zookeeper-server-start.sh config/zookeeper.properties# 启动kafka服务
$ bin/kafka-server-start.sh config/server.properties

但还是建议使用kraft方式启动，毕竟可以省去zookeeper服务的维护，节省一部分资源。

# 以下所有命令都是以test-topic主题为示例，test-group消费者组为示例# 1. 创建主题：(test-topic 主题名；replication-factor 副本数量，副本是包含leader的，如果某个topic有副本，该值至少要配置为2)
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --create --topic test-topic --partitions 3 --replication-factor 2# 2. 查看主题：
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --describe --topic test-topic# 3. 删除主题：
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --delete --topic test-topic# 4. 列出主题列表
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --list# 5. 调整分区数量
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 -alter --partitions 4 --topic test-topic# 6. 查看消费者组信息
$ ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092 --list# 7. 查看某个消费者组消费情况
$ ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092 --group test-group --describe# 8. 在控制台向某个主题写入数据：
$ ./bin/kafka-console-producer.sh --broker-list 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --topic test-topic# 9. 在控制台消费某个主题数据
$ ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --topic test-topic# 10. 指定消费10条数据
$ ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.101:9092 --topic test-topic --max-messages 10# 在控制台消费数据时还可以添加参数：
# 最早数据开始消费：--from beginning
# 删除offsets并重新开始消费：--delete-consumer-offsets --from beginning
# 指定消费者组相关信息：--consumer.config ./config/consumer.properties------
# 下面这些是不怎么常用的命令，没有验证过作为记录供参考：# 更改主题配置信息：
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092 --entity-type topics --entity-name test-topic --alter --add-config max.message.bytes=128000# 查看主题配置信息：
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092 --entity-type topics --entity-name test-topic --describe# 删除配置：
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092  --entity-type topics --entity-name test-topic --alter --delete-config max.message.bytes# 将test topic的消费组的0分区的偏移量设置为最新
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic:0 --reset-offsets --to-earliest –execute# 将test topic的消费组的0和1分区的偏移量设置为最旧
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic:0,1 --reset-offsets --to-latest –execute# 将test topic的消费组的所有分区的偏移量设置为1000
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic --reset-offsets --to-offset 1 –execute# --reset-offsets后可以跟的其他用法：--to-current：把位移调整到分区当前位移
# --reset-offsets后可以跟的其他用法：--shift-by N： 把位移调整到当前位移 + N处，注意N可以是负数，表示向前移动
# --reset-offsets后可以跟的其他用法：--to-datetime <datetime>：把位移调整到大于给定时间的最早位移处，datetime格式是yyyy-MM-ddTHH:mm:ss.xxx，比如2017-08-04T00:00:00.000

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/666003.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

(bean配置类的注解开发)学习Spring的第十三天

(bean配置类的注解开发)学习Spring的第十三天

bean配置类的注解开发 问题提出 用类充当配置文件 applicationcontext.xml : Configuration注解标识此类为配置类,替代原有xml文件 看原配置文件applicationcontext.xml代码 <?xml version"1.0" encoding"UTF-8"?> <beans xmlns"http:/…
阅读更多...
EasyCVR视频融合平台如何助力执法记录仪高效使用

EasyCVR视频融合平台如何助力执法记录仪高效使用

旭帆科技的EasyCVR平台可接入的设备除了常见的智能分析网关与摄像头以外 &#xff0c;还可通过GB28181协议接入执法记录仪&#xff0c;实现对执法过程的全称监控与录像&#xff0c;并对执法轨迹与路径进行调阅回看。那么&#xff0c;如何做到执法记录仪高效使用呢&#xff1f; …
阅读更多...
MMDB是什么

MMDB是什么

MMDB (MaxMind DB) 是一种专为地理位置服务和其他网络相关数据设计的二进制文件格式。这种格式主要被用于存储如 IP 地址定位数据之类的信息&#xff0c;使得应用程序可以快速且高效地查询 IP 地址的地理位置、自治系统信息、网络提供商信息等。MMDB 格式由 MaxMind 公司开发&a…
阅读更多...
react 使用react-seamless-scroll实现无缝滚动

react 使用react-seamless-scroll实现无缝滚动

文章目录 1. 实现无缝滚动效果2. react-seamless-scroll 无缝滚动案例介绍3. react 项目集成3.1 项目引入 cssSeamlessScroll 滚动组件3.2 完整代码3.2.1 newBet.tsx 代码3.2.2 index.module.scss 1. 实现无缝滚动效果 实现单步向下滚动点击更多展开&#xff0c;收起&#xff0…
阅读更多...
Quartus IP学习之ISSP（In-System Sources Probes）

Quartus IP学习之ISSP（In-System Sources Probes）

一、ISSP IP概要&#xff1a; ISSP&#xff1a;In-System Sources & Probes Intel FPGA IP 作用&#xff1a; 分为In-System Sources与In-System Probesn-System Sources&#xff0c;输入端&#xff0c;等价于拨码开关&#xff0c;通过输入板载FPGA上的拨码开关状态改变…
阅读更多...
Unity DOTS中的baking（三）过滤baking的输出

Unity DOTS中的baking（三）过滤baking的输出

Unity DOTS中的baking&#xff08;三&#xff09;过滤baking的输出 默认情况下&#xff0c;在conversation world&#xff08;baker和baking system运行的环境&#xff09;下产生的所有entities和components&#xff0c;都会作为baking环节的输出。在baking结束时&#xff0c;U…
阅读更多...
Android学习之路(29) Gradle初探

Android学习之路(29) Gradle初探

前言: 大家回想一下自己第一次接触Gradle是什么时候&#xff1f; 相信大家也都是和我一样&#xff0c;在我们打开第一个AS项目的时候&#xff0c; 发现有很多带gradle字样的文件&#xff1a;setting.gradle, build.gradle,gradle.warpper,以及在gradle文件中各种配置&#xff…
阅读更多...
将给定的二维数组旋转90度numpy.rot90()

将给定的二维数组旋转90度numpy.rot90()

【小白从小学Python、C、Java】 【计算机等考500强证书考研】 【Python-数据分析】 将给定的二维数组旋转90度 numpy.rot90() [太阳]选择题 以下说法中正确的是? import numpy as np a np.array([[1,1,1],[2,2,2],[3,3,3]]) print("【显示】a:\n",a) print("…
阅读更多...
MIT 6.5830 概述

MIT 6.5830 概述

简介 同MIT6.824系列类似&#xff0c;6.4830是关于Database System的一门课程&#xff0c;官方主页链接。 从课程信息可知&#xff0c;理论课分为 21 个课时&#xff0c;3个问题集&#xff0c;4个实验&#xff0c;1个项目。课程的 ppt 可以下载&#xff0c;对应的课堂回放可以…
阅读更多...
H5 加密(MD5 Base64 sha1)

H5 加密(MD5 Base64 sha1)

1. 说明 很多的时候是避免不了注册登录这一关的&#xff0c;但是一般的注册是没有任何的难度的&#xff0c;无非就是一些简单的获取用户输入的数据&#xff0c;然后进行简单的校验以后调用接口&#xff0c;将数据发送到后端&#xff0c;完成一个简单的注册的流程&#xff0c;那…
阅读更多...
零基础Vue框架上手；git，node，yarn安装

零基础Vue框架上手；git，node，yarn安装

项目搭建环境&#xff1a; git安装&#xff1a;Git - 安装 Git (git-scm.com)&#xff08;官网&#xff09; 下载路径&#xff1a;Git - Downloading Package (git-scm.com)&#xff1b;根据自己电脑下载相对应的安装包 ​ 点next ​ 点next&#xff0c;点到最后安装就行。…
阅读更多...
新 CentOS 7 服务器的基本配置

新 CentOS 7 服务器的基本配置

简介 在为新服务器设置最低配置之后&#xff0c;大多数情况下都建议进行一些额外的步骤。在本指南中&#xff0c;我们将继续配置我们的服务器&#xff0c;处理一些推荐但可选的程序。 先决条件和目标 在开始本指南之前&#xff0c;您应该先运行 CentOS 7 初始服务器设置指南…
阅读更多...
8-CentOS7.9安装Docker时报“Requires: container-selinux ＞= 2:2.74”等错误

8-CentOS7.9安装Docker时报“Requires: container-selinux ＞= 2:2.74”等错误

1.问题描述 CentOS7.9服务器安装Docker时，报“Requires: container-selinux >= 2:2.74”错误，具体如下： [root@logstash ~]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) [root@logstash yum.repos.d]# yum install docker-ce Loaded plugins: fas…
阅读更多...
开关电源学习之Buck电路

开关电源学习之Buck电路

一、引言 观察上方的电路&#xff0c;当开关闭合到A点时&#xff0c;电流流过电感线圈&#xff0c;形成阻碍电流流过的磁场&#xff0c;即产生相反的电动势&#xff1b;电感L被充磁&#xff0c;流经电感的电流线性增加&#xff0c;在电感未饱和前&#xff0c;电流线性增加&…
阅读更多...
信号传输中出现的畸变与解决方法

信号传输中出现的畸变与解决方法

当数字电路的输出由低电平向高电平瞬变时，与电路输出 端相连的传输线的对地电容要被充电到与电路输出高电平 相等才为止；而当电路的输出由高电平向低电平瞬变时，传输线的分布电容要通过电路输出端来进行放电。由于电路的输出阻抗较低，分布电容放电的瞬态电流较大，这个电流…
阅读更多...
docker compose部署一个windows

docker compose部署一个windows

前置准备 centos centos开启kvm centos内存:16G 安装 docker安装 docker run -it \ -e VERSION"win11" \ -e RAM_SIZE"8G" \ -e CPU_CORES"4" \ -e DISK_SIZE"256G" \ -e MANUAL"N" \ -p 8006:8006 \ -p 3389:3389/tcp …
阅读更多...
前端vue/react项目压缩图片工具@yireen/squoosh-browser

前端vue/react项目压缩图片工具@yireen/squoosh-browser

想要在前端项目中压缩图片&#xff0c;然后再上传到后端保存&#xff0c;就需要一个压缩工具的帮助&#xff0c;暂时有两个依赖库可以选择&#xff1a;image-conversion和yireen/squoosh-browser&#xff0c;看了官方仓库地址和更新时间等详情&#xff0c;发现还是yireen/squoo…
阅读更多...
Apache POl Excel

Apache POl Excel

目录 介绍 Apache POl的应用场景&#xff1a; 入门使用 通过POI创建Excel文件并且写入文件内容 通过POI读取Excel文件中的内容 介绍 Apache POl是一个处理Miscrosoft Office各种文件格式的开源项目。简单来说就是&#xff0c;我们可以使用POI在Java程序中对Miscrosoft O…
阅读更多...
项目中将sass更换成less（TypeError: this.getOptions is not a function已解决）

项目中将sass更换成less（TypeError: this.getOptions is not a function已解决）

在更换之前&#xff0c;首先了解sass与less在用法上的区别有哪些&#xff08;这里简单提几个&#xff09;&#xff1a; 变量区别&#xff1a;Less中用&#xff0c;Sass用$sass支持条件语句&#xff0c;可以使用if{}else{}、for循环等&#xff0c;而less不支持在定义变量时候&a…
阅读更多...
迅为RK3588开发板windows与开发板互传使用U盘进行拷贝

迅为RK3588开发板windows与开发板互传使用U盘进行拷贝

1 将 U 盘(U 盘的格式必须为 FAT32 格式&#xff0c;大小在 32G 以下)插到开发板的 usb 接口&#xff0c;串口打印信息如下所示&#xff0c;U 盘的设备节点是/dev/sdb4。U 盘的设备节点不是固定的&#xff0c;根据实际情况来查看设备节点。 2 输入以下命令挂载 U 盘&#xff0c…
阅读更多...
最新文章

Copyright @ 2022~2023