使用kafka还在依赖Zookeeper，kraft模式了解下

Kafka的Kraft模式

概述

​ Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。

​ 用过kafka的开发者应该知道，每次启动kafka服务时，都是需要先把Zookeeper启动，然后启动kafka，步骤相当繁琐。

​ Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，提供KRaft模式3.0+版本，来取消Kafka对Zookeeper的依赖。

在这里插入图片描述

上图是未使用kraft模式时，依赖Zookeeper集群的一个架构图，做元数据管理、Controller的选举都需要依赖Zookeeper集群。

在这里插入图片描述

在Kafka引入Kraft新内部功能后，对Zookeeper的依赖将会被取消。在 Kraft中，一部分 broker 被指定为控制器，这些控制器提供过去由 ZooKeeper 提供的共识服务。所有集群元数据都将存储在 Kafka 主题中并在内部进行管理。

优势

  • 更简单的部署和管理：通过只安装和管理一个应用程序，Kafka 现在的运营足迹要小得多。这也使得在边缘的小型设备中更容易利用 Kafka；
  • 提高可扩展性：KRaft 的恢复时间比 ZooKeeper 快一个数量级。这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万；
  • 更有效的元数据传播：基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能

Kraft集群节点角色

在这里插入图片描述

在 Kraft 模式下，Kafka 集群可以走专用模式或共享模式运行。

在专用模式下，一些节点将其process.roles配置设置为controller，而其余节点将其设置为broker。

对于共享模式，一些节点将process.roles设置为controller, broker并且这些节点将执行双重任务。采用哪种方式取决于集群的大小。

controller

在KRaft模式下，只有一小部分特别指定的服务器可以作为控制器，在server.properties的process.roles 参数里面配置。不像基于ZooKeeper的模式，任何服务器都可以成为控制器

Process Roles

每个Kafka服务器现在都有一个新的配置项，叫做process.roles, 这个参数可以有以下值:

  • 如果process.roles = broker, 服务器在KRaft模式中充当 broker。
  • 如果process.roles = controller, 服务器在KRaft模式下充当 controller。
  • 如果process.roles = broker,controller，服务器在KRaft模式中同时充当 broker 和controller。
  • 如果process.roles 没有设置。那么集群就假定是运行在ZooKeeper模式下。

Quorum Voters

​ 系统中的所有节点都必须设置 controller.quorum.voters 配置。这个配置标识有哪些节点是 Quorum 的投票者节点。所有想成为控制器的节点都需要包含在这个配置里面。

controller.quorum.voters 配置需要包含每个节点的id。格式为: id1@host1:port1,id2@host2:port2

那么假如有7个broker和3个controller，分别是controller1、controller2、controller3，那么在controller1中的server.properties中会有如下配置：

process.roles=controller
node.id=1
listeners=CONTROLLER://controller1.example.com:9093
controller.quorum.voters=1@controller1:9093,2@controller2:9093,3@controller3:9093

每个broker和每个controller 都必须设置 controller.quorum.voters。需要注意的是，controller.quorum.voters 配置中提供的节点ID必须与提供给服务器的节点ID匹配。

Kraft单机模式

Kafka是依赖于JDK的，需要先把java环境配置一下

到kafka官方地址下载需要的kafka版本即可。下载地址

在这里插入图片描述

# 下载
wget https://archive.apache.org/dist/kafka/3.2.3/kafka_2.12-3.2.3.tgz# 解压
tar -zxvf kafka_2.12-3.2.3.tgz

解压完毕后，到里面看下目录结构

在这里插入图片描述

可以配置一下hosts域名解析(不配置也可以，后面需要用到的配置中直接写localhost就行)

hostnamectl set-hostname kafka1

然后去修改config/kraft/server.properties

# 表示此节点，既是broker又可以当controller
process.roles=broker,controller
# 节点id，不重名即可
node.id=1
# controller竞争者，也就是controller将从它们之中诞生(这里的kafka1是刚刚设置的本机的域名解析，或者直接写localhost也行)
controller.quorum.voters=1@kafka1:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
# 监听地址(也就是客户端连接时访问的地址)
advertised.listeners=PLAINTEXT://192.168.1.38:9092
controller.listener.names=CONTROLLER
# kafka数据存放地址
log.dirs=/wlh/kafka/data

整理完毕后，初始化一下数据存储目录

# 生成一个uuid，后面需要用
./bin/kafka-storage.sh random-uuid
# 示例如下：
NxAPV0sdTtSDsMN2IwDgPA# 格式化存储
./bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c ./config/kraft/server.properties

格式化完毕后，可以启动节点了(守护进程启动加-daemon 参数)。

./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

启动完毕后，可以进行连接访问kafka服务器了。记得把防火墙关了，或者只开放9092端口即可。

systemctl stop firewalld

若跨机器访问，如使用windows连接，可以先tcping一下，看看kafka服务器的状态是否正常。

在这里插入图片描述

可以看到，没有问题。kafka可视化管理页面https://gitee.com/dushixiang/kafka-map/，有兴趣可以自行搭建。

这里用cmd命令行测试下。

  • 服务器创建topic–kafka-test

    bin/kafka-topics.sh --create --topic kafka-test --partitions 1 --replication-factor 1 --bootstrap-server kafka1:9092

  • 创建生产者、消费者

    # 生产者
kafka-console-producer.bat --broker-list 192.168.1.38:9092 --topic kafka-test# 消费者
kafka-console-consumer.bat --bootstrap-server 192.168.1.38:9092 --topic kafka-test

在这里插入图片描述

完事儿收工。

kraft集群模式

集群模式和单机模式大差不差，就是配置文件多了的问题。由于机器数量有限，这里就不展示多台服务器的了，看下单台机器部署集群。

准备好3个kafka，分别是kafka01、kafka02、kafka03，分别到它们的config/kraft/server.properties中做配置

kafka01

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:19093,2@localhost:29093,3@localhost:39093
listeners=PLAINTEXT://:19092,CONTROLLER://:19093
advertised.listeners=PLAINTEXT://192.168.1.38:19092
controller.listener.names=CONTROLLER
log.dirs=/wlh/kafka01/data

kafka02

process.roles=broker,controller
node.id=2
controller.quorum.voters=1@localhost:19093,2@localhost:29093,3@localhost:39093
listeners=PLAINTEXT://:29092,CONTROLLER://:29093
advertised.listeners=PLAINTEXT://192.168.1.38:29092
controller.listener.names=CONTROLLER
log.dirs=/wlh/kafka02/data

kafka03

process.roles=broker,controller
node.id=3
controller.quorum.voters=1@localhost:19093,2@localhost:29093,3@localhost:39093
listeners=PLAINTEXT://:39092,CONTROLLER://:39093
advertised.listeners=PLAINTEXT://192.168.1.38:39092
controller.listener.names=CONTROLLER
log.dirs=/wlh/kafka03/data

配置做完后，生成uuid且格式化它们的存储目录

# 生成一个uuid，后面需要用
/wlh/kafka01/bin/kafka-storage.sh random-uuid
# 示例如下：
NxAPV0sdTtSDsMN2IwDgPA# 格式化存储
/wlh/kafka01/bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c /wlh/kafka01/config/kraft/server.properties
/wlh/kafka02/bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c /wlh/kafka02/config/kraft/server.properties
/wlh/kafka03/bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c /wlh/kafka03/config/kraft/server.properties# 分别启动它们
/wlh/kafka01/bin/kafka-server-start.sh -daemon /wlh/kafka01/config/kraft/server.properties
/wlh/kafka02/bin/kafka-server-start.sh -daemon /wlh/kafka01/config/kraft/server.properties
/wlh/kafka03/bin/kafka-server-start.sh -daemon /wlh/kafka01/config/kraft/server.properties

命令测试一下kafka集群。

kafka1/bin/kafka-topics.sh --create --topic kafka-test --partitions 1 --replication-factor 1 --bootstrap-server 192.168.1.38:19092

# 生产者
kafka-console-producer.bat --broker-list 192.168.1.38:19092,192.168.1.38:29092,192.168.1.38:39092 --topic kafka-test# 消费者
kafka-console-consumer.bat --bootstrap-server 192.168.1.38:19092,192.168.1.38:29092,192.168.1.38:39092 --topic kafka-test

在这里插入图片描述

完事儿，大功告成！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/60934.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java连接websocket优雅断线、重连功能

Java连接websocket优雅断线、重连功能

为了实现优雅重连和重试，您需要在代码中添加一些逻辑来处理连接失败或断开连接的情况。 实现代码如下： import javax.websocket.*; import java.io.IOException;ClientEndpoint public class WebSocketClientEndpoint {private Session userSession n…
阅读更多...
设备报修系统有什么用？企业如何提高维修效率和质量？

设备报修系统有什么用？企业如何提高维修效率和质量？

在数字化时代，基于人工智能和大数据技术的设备报修系统已经成为企业提高服务质量和效率的重要手段。这种系统可以为用户提供方便快捷的报修方式，例如通过扫描设备上的二维码或通过公众号、企业微信、钉钉等平台提交报修请求。这种报修系统不仅可以提高故…
阅读更多...
香港服务器快还是台湾服务器快？

香港服务器快还是台湾服务器快？

​　　基于机房位置不同，香港服务器相对于台湾服务器在访问速度方面有一定的优势。香港服务器拥有CN2线路，因此访问速度较快。在网络服务商方面，中华电信等台湾服务商提供的带宽也具有很高的性价比。 香港服务器对大陆用户的影响 对于大陆用户…
阅读更多...
如何增长LLM推理token，从直觉到数学

如何增长LLM推理token，从直觉到数学

背景： 最近大模型输入上文长度增长技术点的研究很火。为何要增长token长度,为何大家如此热衷于增长输入token的长度呢？其实你如果是大模型比价频繁的使用者，这个问题应该不难回答。增长了输入token的长度，那需要多次出入才能得到…
阅读更多...
软考：中级软件设计师:信息系统的安全属性，对称加密和非对称加密，信息摘要，数字签名技术，数字信封与PGP

软考：中级软件设计师:信息系统的安全属性，对称加密和非对称加密，信息摘要，数字签名技术，数字信封与PGP

软考：中级软件设计师:信息系统的安全属性 提示：系列被面试官问的问题，我自己当时不会，所以下来自己复盘一下，认真学习和总结，以应对未来更多的可能性 关于互联网大厂的笔试面试，都是需要细心准…
阅读更多...
W5500-EVB-PICO通过SNTP获取网络时间（十一）

W5500-EVB-PICO通过SNTP获取网络时间（十一）

前言 上一章我们用W5500_EVB_PICO 开发板做Ping数据测试IP检测连通性，那么本章我们进行W5500_EVB_PICO SNTP的测试。 什么是NTP？ NTP(Network Time Protocol）网络时间协议基于UDP，用于网络时间同步的协议，使网络中的计…
阅读更多...
element-plus指定el-date-picker的弹出框位置

element-plus指定el-date-picker的弹出框位置

此处记录一下,通过popper-options指定popper出现的位置
阅读更多...
2、QT的信号与槽

2、QT的信号与槽

一、什么是信号与槽 一个对象发送一个信号出去，另外一个对象接收到该信号后，会触发相应的槽函数 二、信号与槽的语法 connect(信号的发送者，SIGNAL(信号名称),信号的接收者,SLOT(槽函数)); 1、写法： QT 4 的写法 connect(sende…
阅读更多...
anaconda环境迁移

anaconda环境迁移

conda环境迁移第一步 进入anaconda安装文件夹，然后进入envs文件夹，下面的每一个文件夹都是你创建的环境， 准备一个u盘之类的，把整个文件夹复制下来，然后打开另外一台机器，把同样的文件夹复制到同样的文件夹…
阅读更多...
Maven的profiles多环境配置

Maven的profiles多环境配置

一个项目通常都会有多个不同的运行环境，例如开发环境，测试环境、生产环境等。而不同环境的构建过程很可能是不同的，例如数据源配置、插件、以及依赖的版本等。每次将项目部署到不同的环境时，都需要修改相应的配置，这样…
阅读更多...
0830hw

0830hw

1.2.链式队列 head.h #include <myhead.h> typedef int datatype; typedef struct seq {union{datatype data;int len;};struct seq *next; }seq,*S; typedef struct PP {S front;S rear; }P; P *create(); void input_tail(P *p,datatype n); void pop_head(P *p); vo…
阅读更多...
postgresql-日期函数

postgresql-日期函数

postgresql-日期函数 日期时间函数计算时间间隔获取时间中的信息截断日期/时间创建日期/时间获取系统时间CURRENT_DATE当前事务开始时间 时区转换 日期时间函数 PostgreSQL 提供了以下日期和时间运算的算术运算符。 计算时间间隔 age(timestamp, timestamp)函数用于计算两…
阅读更多...
恢复已删除的git分支

恢复已删除的git分支

1.打开对应项目文件夹目录,在目录下执行git命令 2.执行命令 git reflog --dateiso , 找到最后一次commit 的id 3. 执行git checkout -b 新建分支名称 commitId 就会基于commitId这次提交时工作区新建一个分支&#xff0c;就能达到我们找到删除分支的代码效果。 4.直接看ide…
阅读更多...
ABB PCD231B101励磁控制模块

ABB PCD231B101励磁控制模块

电磁励磁控制&#xff1a; PCD231B101 模块专门设计用于电磁励磁设备的控制&#xff0c;以确保发电机的励磁电流和电压维持在合适的水平。 多通道控制&#xff1a; 这种模块通常具有多个控制通道&#xff0c;可用于同时监测和控制多台电力发电机。 通讯接口&#xff1a; PCD2…
阅读更多...
二叉树的前序遍历

二叉树的前序遍历

目录 题目题目要求示例 解答方法一、实现思路时间复杂度和空间复杂度代码 方法二、实现思路时间复杂度和空间复杂度代码 题目 二叉树的前序遍历 题目要求 题目链接 示例 解答 方法一、 递归法 实现思路 使用递归依次将该结点的数据&#xff0c;该结点的左子树的数据&am…
阅读更多...
0202hdfs的shell操作-hadoop-大数据学习

0202hdfs的shell操作-hadoop-大数据学习

文章目录 1 进程启停管理2 文件系统操作命令2.1 HDFS文件系统基本信息2.2 介绍2.3 创建文件夹2.4 查看指定文件夹下的内容2.5 上传文件到HDFS2.6 查看HDFS文件内容2.7 下载HDFS文件2.8 HDFS数据删除操作 3 HDFS客户端-jetbrians产品插件3.1 Big Data Tools 安装3.2 配置windows…
阅读更多...
WPF+Prism+WebApi 学习总结

WPF+Prism+WebApi 学习总结

一、基本概念 WPF:WPF&#xff08;Windows Presentation Foundation&#xff09;是&#xff08;微软推出的&#xff09;基于Windows的用户界面框架&#xff0c;提供了统一的编程模型&#xff0c;语言和框架&#xff0c;做到了分离界面设计人员与开发人员的工作&#xff1b;WPF…
阅读更多...
Android开发之性能测试工具Profiler

Android开发之性能测试工具Profiler

前言 性能优化问题&#xff0c;在我们开发时都会遇到&#xff0c;但是在小厂和对自己要求不严格的情况下&#xff0c;我都很少去做性能优化&#xff1b; 在性能优化上&#xff0c;基本大家都是通过自己的开发经验和性能分析工具来发现问题&#xff0c;今天给大家分享一下小编最…
阅读更多...
Docker从认识到实践再到底层原理（一）｜技术架构

Docker从认识到实践再到底层原理（一）｜技术架构

前言 那么这里博主先安利一些干货满满的专栏了&#xff01; 首先是博主的高质量博客的汇总&#xff0c;这个专栏里面的博客&#xff0c;都是博主最最用心写的一部分&#xff0c;干货满满&#xff0c;希望对大家有帮助。 高质量博客汇总 然后就是博主最近最花时间的一个专栏…
阅读更多...
多张图片转为pdf怎么弄？

多张图片转为pdf怎么弄？

多张图片转为pdf怎么弄&#xff1f;在网络传输过程中&#xff0c;为了避免图片格式文件出现差错&#xff0c;并确保图片的清晰度和色彩不因不同设备而有所改变&#xff0c;常见的做法是将图片转换为PDF格式。然而&#xff0c;当涉及到多张图片时&#xff0c;逐一转换将会变得相…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023