Kafka KRaft模式探索

1.概述

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。

2.内容

目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，提供KRaft模式，来取消Kafka对Zookeeper的依赖。

 上图是在未使用KRaft模式时，Kafka的一个架构，在做元数据管理、Controller的选举等都需要依赖Zookeeper集群。

 在Kafka引入KRaft新内部功能后，对Zookeeper的依赖将会被取消。在 KRaft 中，一部分 broker 被指定为控制器，这些控制器提供过去由 ZooKeeper 提供的共识服务。所有集群元数据都将存储在 Kafka 主题中并在内部进行管理。

 2.1 KRaft模式的优势

  • 更简单的部署和管理——通过只安装和管理一个应用程序，Kafka 现在的运营足迹要小得多。这也使得在边缘的小型设备中更容易利用 Kafka；
  • 提高可扩展性——KRaft 的恢复时间比 ZooKeeper 快一个数量级。这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万；
  • 更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。
1. KRaft集群节点角色

 在 KRaft 模式下，Kafka 集群可以以专用或共享模式运行。在专用模式下，一些节点将其process.roles配置设置为controller，而其余节点将其设置为broker。对于共享模式，一些节点将process.roles设置为controller, broker并且这些节点将执行双重任务。采用哪种方式取决于集群的大小。

2. KRaft模式控制器

 在 KRaft 模式集群中充当控制器的代理列在controller.quorum.voters每个代理上设置的配置属性中。这允许所有代理与控制器进行通信。这些控制器代理之一将是活动控制器，它将处理与其他代理通信对元数据的更改。

所有控制器代理都维护一个保持最新的内存元数据缓存，以便任何控制器都可以在需要时接管作为活动控制器。这是 KRaft 的特性之一，使其比基于 ZooKeeper 的控制平面高效得多。

3. KRaft集群元数据

 KRaft 基于 Raft 共识协议，该协议作为 KIP-500 的一部分引入 Kafka，并在其他相关 KIP 中定义了更多细节。在 KRaft 模式下，集群元数据（反映所有控制器管理资源的当前状态）存储在名为__cluster_metadata. KRaft 使用这个主题在控制器和代理节点之间同步集群状态更改。

活动控制器是这个内部元数据主题的单个分区的领导者。其他控制器是副本追随者。经纪人是副本观察者。因此，不是控制器将元数据更改广播给其他控制器或代理，而是它们各自获取更改。这使得保持所有控制器和代理同步非常有效，并且还缩短了代理和控制器的重启时间。

4. KRaft元数据复制

由于集群元数据存储在 Kafka 主题中，因此该数据的复制与我们在数据平面复制模块中看到的非常相似。活动控制器是元数据主题的单个分区的领导者，它将接收所有写入。其他控制器是跟随者，将获取这些更改。我们仍然使用与数据平面相同的偏移量和领导者时期。但是，当需要选举领导者时，这是通过仲裁完成的，而不是同步副本集。因此，元数据复制不涉及 ISR。另一个区别是元数据记录在写入每个节点的本地日志时会立即刷新到磁盘。

5. Leader选举

当集群启动时以及当前领导者停止时，无论是作为滚动升级的一部分还是由于故障，都需要进行控制器领导者选举。现在让我们看一下 KRaft 领导人选举所涉及的步骤。

  • 投票请求：
    • 当需要选举leader控制器时，其他控制器将参与选举新的leader。一个控制器，通常是第一个意识到需要新领导者VoteRequest的控制器，将向其他控制器发送一个。该请求将包括候选者的最后一个偏移量以及与该偏移量关联的时期。它还将增加该时期并将其作为候选时期传递。候选控制器也将为该时期投票给自己；
  • 投票响应：
    • 当跟随者控制器接收到 aVoteRequest时，它将检查它是否看到了比候选者传入的时期更高的时期。如果它有，或者如果它已经在同一时期投票给了不同的候选人，它将拒绝该请求。否则，它将查看候选人传递的最新偏移量，如果它与自己的相同或更高，它将授予投票。该候选控制器现在有两票：它自己的票和刚刚被授予的票。第一个获得多数票的控制器成为新的领导者。
  • 完成：

    •  一旦候选人获得了多数票，它将认为自己是领导者，但它仍然需要将此通知其他控制者。为此，新领导者将向BeginQuorumEpoch其他控制器发送包括新纪元在内的请求。现在选举已经完成。当旧的leader控制器重新上线时，它将在新的epoch跟随新的leader，并将自己的元数据日志与leader同步。

3.KRaft 集群元数据快照

 没有明确的点我们知道不再需要集群元数据，但我们不希望元数据日志无休止地增长。此要求的解决方案是元数据快照。每个控制器和代理都会定期对其内存中的元数据缓存进行快照。这个快照被保存到一个用结束偏移和控制器纪元标识的文件中。现在我们知道元数据日志中所有早于该偏移量和纪元的数据都已安全存储，并且可以将日志截断到该点。快照连同元数据日志中的剩余数据仍然会为我们提供整个集群的完整元数据。

3.1 读取快照

元数据快照的两个主要用途是代理重新启动和新代理上线。

当现有代理重新启动时，它 (1) 将其最近的快照加载到内存中。然后EndOffset从其快照开始，它 (2) 从其本地__cluster_metadata日志中添加可用记录。然后它 (3) 开始从活动控制器中获取记录。如果获取的记录偏移量小于活动控制器LogStartOffset，则控制器响应包括其最新快照的快照 ID。然后代理 (4) 获取此快照并将其加载到内存中，然后再次继续从__cluster_metadata分区领导者（活动控制器）获取记录。

当一个新的代理启动时，它 (3) 第一次开始从活动控制器中获取记录。通常，此偏移量将小于活动控制器LogStartOffset，并且控制器响应将包括其最新快照的快照 ID。代理 (4) 获取此快照并将其加载到内存中，然后再次继续从__cluster_metadata分区领导者（活动控制器）获取记录。

该__cluster_metadata主题将snapshot作为cleanup.policy。Kafka 控制器和元数据缓存将在内存中表示复制的日志，最多可达高水位线。在执行快照时，Kafka 控制器和元数据缓存会将这个内存状态序列化到磁盘。磁盘上的此快照文件由已包含的复制日志的结束偏移量和纪元描述。

Kafka 控制器和元数据缓存将在 Kafka Raft 客户端完成生成新快照时通知它。将日志的前缀截断到最新的快照是安全的。主题分区将__cluster_metadata拥有最新的快照和零个或多个旧快照。这些额外的快照必须被删除，这在“何时删除快照”中有描述。 

3.2 快照设计

Kafka Raft 主题分区如下所示：

复制代码

Kafka Replicated Log:LogStartOffset  --             high-watermark --           LEO --V                             V                V-----------------------------------------------offset: | x | ... | y - 1 | y |  ...  |   |  ...  |   |epoch:  | b | ... | c     | d |  ...  |   |  ...  |   |-----------------------------------------------Kafka Snapshot Files:<topic_name>-<partition_index>/x-a.checkpoint
<topic_name>-<partition_index>/y-c.checkpoint

复制代码

需要注意的是，checkpoint将使用扩展名，因为 Kafka 已经有一个带有snapshot扩展名的文件。

  • LEO - 日志结束偏移量 - 要写入磁盘的下一个偏移量。

  • high-watermark - 已复制到 N/2 + 1 个副本的最大偏移量和 epoch。

  • LogStartOffset - 日志开始偏移量 - 复制日志中的最小偏移量。

3.3 快照格式

Kafka 控制器和元数据缓存负责快照的内容。每个快照都由一个唯一标识SnapshotId，即快照中包含的复制日志中记录的纪元和结束偏移量。快照将存储在主题分区目录中，名称为<SnapshotId.EndOffset>-<SnapshotId.Epoch>.checkpoint. 例如，对于主题 __cluster_metadata、分区 0、快照结束偏移 5120793 和快照 epoch 2，完整文件名将是__cluster_metadata-0/00000000000005120793-00000000000000000002.checkpoint.

快照时期将在订购快照时使用，更重要的LastFetchedEpoch是在 Fetch 请求中设置字段时使用。追随者可能有快照和空日志。在这种情况下，follower 将LastFetchEpoch在 Fetch 请求中设置时使用快照的纪元。

快照文件的磁盘格式将与日志格式的版本 2 相同。这是版本 2 的日志格式供参考：

复制代码

RecordBatch => BatchHeader [Record]BatchHeaderBaseOffset => Int64Length => Int32PartitionLeaderEpoch => Int32Magic => Int8CRC => Uint32Attributes => Int16LastOffsetDelta => Int32 // also serves as LastSequenceDeltaFirstTimestamp => Int64MaxTimestamp => Int64ProducerId => Int64ProducerEpoch => Int16BaseSequence => Int32Record =>Length => VarintAttributes => Int8TimestampDelta => VarlongOffsetDelta => VarintKey => BytesValue => BytesHeaders => [HeaderKey HeaderValue]HeaderKey => StringHeaderValue => Bytes

复制代码

使用日志格式的版本 2 将允许 Kafka 控制器和元数据缓存压缩记录并识别快照中的损坏记录。即使快照使用日志格式存储此状态，也没有要求：

  • 在and中分别使用有效的BaseOffset和。OffsetDeltaBatchHeaderRecord
  • 使快照中的记录与复制日志中的记录相匹配。

3.4 快照记录

为了允许 KRaft 实现在不影响 Kafka 控制器和元数据缓存的情况下包含有关快照的附加信息，快照将包含两个控制记录批次。控制记录批次SnapshotHeaderRecord  将始终是快照中的第一个记录批次。控制记录批次SnapshotFooterRecord  将是快照中的最后一个记录批次。这两条记录将具有以下架构。

1.快照头架构

复制代码

{"type": "data","name": "SnapshotHeaderRecord","validVersions": "0","flexibleVersions": "0+","fields": [{"name": "Version", "type": "int16", "versions": "0+","about": "The version of the snapshot header record"},{ "name": "LastContainedLogTimestamp", "type": "int64", "versions": "0+","about": "The append time of the last record from the log contained in this snapshot" }]
}

复制代码

2.快照脚架构

复制代码

{"type": "data","name": "SnapshotFooterRecord","validVersions": "0","flexibleVersions": "0+","fields": [{ "name": "Version", "type": "int16", "versions": "0+","about": "The version of the snapshot footer record" }]
}

复制代码

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/122083.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python爬虫request和BeautifulSoup使用

python爬虫request和BeautifulSoup使用

request使用 1.安装request pip install request2.引入库 import requests3.编写代码 发送请求 我们通过以下代码可以打开豆瓣top250的网站 response requests.get(f"https://movie.douban.com/top250"&#xff09;但因为该网站加入了反爬机制&#xff0c;所以…
阅读更多...
非遗主题网站的设计与实现基于PHP实现

非遗主题网站的设计与实现基于PHP实现

包括源码参考论文 下载地址: https://juzhendongli.store/commodity/details/18
阅读更多...
Linux Centos7安装后，无法查询到IP地址，无ens0，只有lo和ens33的解决方案

Linux Centos7安装后，无法查询到IP地址，无ens0，只有lo和ens33的解决方案

文章目录 前言1 查看network-scripts目录2 创建并配置 ifcfg-ens33 文件3 禁用NetworkManager4 重新启动网络服务总结 前言 在VMware中&#xff0c;安装Linux centos7操作系统后&#xff0c;想查询本机的IP地址&#xff0c;执行ifconfig命令 ifconfig结果如下&#xff1a; 结…
阅读更多...
【Linux】权限完结

【Linux】权限完结

个人主页点击直达&#xff1a;小白不是程序媛 系列专栏&#xff1a;Linux被操作记 目录 前言 chown指令 chgrp指令 文件类型 file指令 目录的权限 粘滞位 umask指令 权限总结 前言 上篇文章我们说到对于一个文件所属者和所属组都是同一个人时&#xff0c;使用所属者身…
阅读更多...
【NLP】word复制指定内容到新的word文档

【NLP】word复制指定内容到新的word文档

目录 1.python代码 2.结果 需求&#xff1a; 复制word文档里的两个关键字&#xff08;例如“起始位置”到“结束位置”&#xff09;之间的内容到新的word文档。 前提&#xff1a;安装win32包&#xff0c;通过pip install pywin32命令直接安装。话不多说&#xff0c;直接上代码…
阅读更多...
RSA:基于小加密指数的攻击方式与思维技巧

RSA:基于小加密指数的攻击方式与思维技巧

目录 目录 目录 零、前言 一、小加密指数爆破 [FSCTF]RSA签到 思路&#xff1a; 二、基于小加密指数的有限域开根 [NCTF 2019]easyRSA 思路&#xff1a; 三、基于小加密指数的CRT [0CTF 2016] rsa 思路&#xff1a; 零、前言 最近&#xff0c;发现自己做题思路比较…
阅读更多...
设计模式之桥梁模式

设计模式之桥梁模式

什么是桥梁模式 桥梁模式&#xff08;Bridge Pattern&#xff09;也称为桥接模式&#xff0c;属于结构型模式&#xff0c;它主要目的是通过组合的方式建立两个类之间的联系&#xff0c;而不是继承。桥梁模式将抽象部分与它的具体实现部分分离&#xff0c;使它们都可以独立地变…
阅读更多...
GnuTLS recv error (-110): The TLS connection was non-properly terminated

GnuTLS recv error (-110): The TLS connection was non-properly terminated

ubuntu git下载提示 GnuTLS recv error (-110): The TLS connection was non-properly terminated解决方法 git config --global --unset http.https://github.com.proxy
阅读更多...
Day13力扣打卡

Day13力扣打卡

打卡记录 奖励最顶尖的 k 名学生(哈希表排序) 用哈希表对所有的positive与negative词条进行映射&#xff0c;然后遍历求解。tip&#xff1a;常用的分割字符串的操作&#xff1a;1.stringstream配合getline() [格式buf, string, char]2.string.find()[find未找到目标会返回npos…
阅读更多...
别处拿来的VUE项目 npm run serve报错

别处拿来的VUE项目 npm run serve报错

问题现象&#xff1a; 从别处拷贝来的VUE项目&#xff0c;根据说明通过npm install 加载了项目依赖 &#xff0c;但是运行npm run serve里报错&#xff1a; npm ERR! Missing script: "serve" npm ERR! npm ERR! To see a list of scripts, run: npm ERR! npm ru…
阅读更多...
Java 将数据导出到Excel并发送到在线文档

Java 将数据导出到Excel并发送到在线文档

一、需求 现将列表数据&#xff0c;导出到excel,并将文件发送到在线文档&#xff0c;摒弃了以往的直接在前端下载的老旧模式。 二、pom依赖 <!-- redission --><dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-…
阅读更多...
ActiveMQ消息中间件简介

ActiveMQ消息中间件简介

一、ActiveMQ简介 ActiveMQ是Apache出品&#xff0c;最流行的&#xff0c;能力强劲的开源消息总线。ActiveMQ是一个完全支持JMS1.1和J2EE1.4规范的JMS Provide实现。尽管JMS规范出台已经是很久的事情了&#xff0c;但是JMS在当今的J2EE应用中仍然扮演这特殊的地位。 二、Active…
阅读更多...
云计算模式的区域LIS系统源码，基于ASP.NET+JQuery、EasyUI+MVC技术架构开发

云计算模式的区域LIS系统源码，基于ASP.NET+JQuery、EasyUI+MVC技术架构开发

云计算模式的区域LIS系统源码 云LIS系统源码&#xff0c;自主版权 LIS系统是专为医院检验科的仪器设备能与计算机连接。可通过LIS系统向仪器发送指令&#xff0c;让仪器自动操作和接收仪器数据。并快速的将检验仪器中的数据导入到医生工作站中进行管理&#xff0c;且可将检验结…
阅读更多...
springboot项目打jar包，运行时提示jar中没有主清单属性

springboot项目打jar包，运行时提示jar中没有主清单属性

可能性一&#xff1a; 没有在pom中加入maven插件 在pom中加入下方代码即可。 <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.1</ve…
阅读更多...
039-第三代软件开发-PDF阅读器

039-第三代软件开发-PDF阅读器

第三代软件开发-PDF阅读器 文章目录 第三代软件开发-PDF阅读器项目介绍PDF阅读器1 初始化PDF view2 qml 中使用3 创建模块 关键字&#xff1a; Qt、 Qml、 pdf、 LTDev、 本地 项目介绍 欢迎来到我们的 QML & C 项目&#xff01;这个项目结合了 QML&#xff08;Qt Met…
阅读更多...
如何快速排查SSD IO延迟抖动问题？

如何快速排查SSD IO延迟抖动问题？

一块固态硬盘设计背后&#xff0c;有硬件控制器&#xff0c;NAND闪存颗粒、DRAM&#xff0c;还有固件FTL算法等。SSD设计的本身其实是一件特别复杂的过程&#xff0c;需要考虑各种客户需求且要保证可靠性、性能、稳定性。 针对SSD的相关性能测试&#xff0c;SNIA也有专门针对SS…
阅读更多...
【RabbitMQ 实战】12 镜像队列

【RabbitMQ 实战】12 镜像队列

一、镜像队列的概念 RabbitMQ的镜像队列是将消息副本存储在一组节点上&#xff0c;以提高可用性和可靠性。镜像队列将队列中的消息复制到一个或多个其他节点上&#xff0c;并使这些节点上的队列保持同步。当一个节点失败时&#xff0c;其他节点上的队列不受影响&#xff0c;因…
阅读更多...
漏洞复现-showdoc文件上传_v2.8.3_(CNVD-2020-26585)

漏洞复现-showdoc文件上传_v2.8.3_(CNVD-2020-26585)

showdoc文件上传_v2.8.3_CNVD-2020-26585 漏洞信息 showdoc 2.8.3 以下版本中存在安全漏洞CNVD-2020-26585文件上传漏洞 描述 ShowDoc是一个非常适合IT团队的在线API文档、技术文档工具。通过showdoc&#xff0c;你可以方便地使用markdown语法来书写出美观的API文档、数据字…
阅读更多...
java后端返回给前端不为空的属性

java后端返回给前端不为空的属性

问题背景&#xff1a; 目前遇到的一个问题。一个对象里面定义了数组、集合、和字符串属性等&#xff0c;但是返回给前端的时候数组和集合都是空的&#xff0c;前端接收到的是“” 一个空字符。然后保存的时候又把空字符传给后端&#xff0c;出现了数据结构不匹配导致报错。 解…
阅读更多...
Java8与JDK1.8与JDK8之间的关系是什么？

Java8与JDK1.8与JDK8之间的关系是什么？

1.Java8等价于JDK8 2.JDK8或者JDK1.8是由于自从JDK1.5/JDK5命名方式改变后遗留的历史问题。所以JDK8或者JDK1.8是等价的。 2004年9月30日&#xff0c;J2SE1.5发布。为了表示该版本的重要性&#xff0c;J2SE 1.5更名为Java SE 5.0&#xff0c;从此开始&#xff0c;如下图像jav…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023