Kafka 源码 KRaft 模式本地运行

KRaft(Kafka Raft Metadata mode),从版本 2.8.0 开始作为测试特性引入,并在后续版本中持续得到改进和增强。
KRaft 模式是指 Kafka 使用 Raft 协议来管理集群元数据的一种运行模式,这标志着 Kafka 向去除对 ZooKeeper 依赖迈出了重要一步。
在 KRaft 之前,Kafka 依赖于外部服务 ZooKeeper 来管理集群的元数据,包括主题、分区、配置信息等。ZooKeeper 在 Kafka 集群中扮演着协调者的角色,负责维护集群的状态,进行领导者选举等关键操作。
这种设计带来了一些挑战:

  • 复杂性:部署和管理一个额外的 ZooKeeper 集群增加了运维的复杂性。
  • 性能瓶颈:对 ZooKeeper 的依赖可能成为系统扩展性的瓶颈。
  • 故障隔离:ZooKeeper 的问题可能会影响整个 Kafka 集群的稳定性和可用性。

KRaft 模式

通过使用 Raft 协议直接在 Kafka 内部管理元数据,旨在消除对 ZooKeeper 的依赖,从而简化架构,提高性能和可靠性。
Raft 是一个为分布式系统设计的一致性算法,它提供了一种相对简单的方式来实现分布式系统中的领导者选举和日志复制。
特点和优势如下:

  • 简化架构:没有了 ZooKeeper,Kafka 集群的部署和管理变得更简单。
  • 提高性能:去除了与 ZooKeeper 的交互,减少了延迟,提高了元数据操作的效率。
  • 增强可靠性:KRaft 模式通过简化系统组件和操作,降低了系统出错的可能性,提升了集群的稳定性。

接下来我们就以 trunk 分支代码来展示下本地运行 KRaft 模式的 kafka。只展示单个配置既是 broker 也是 controller 的场景。

准备配置文件

KRaft 模式的配置文件在 config/kraft 这个目录下。

# 服务角色,这里配置的是即是broker也是controller,可以只是broker或者controller
process.roles=broker,controller
node.id=1
# 参与选举的controller的连接串,多个逗号隔开
controller.quorum.voters=1@localhost:9093
# 服务器监听地址,9092是broker的,9094是controller的
listeners=PLAINTEXT://:9092,CONTROLLER://:9094
inter.broker.listener.name=PLAINTEXT
# 服务器向客户端公告的地址,如果角色包含broker,则只能设置broker监听地址,不能有controller的,如果角色是controller,不能配置该地址,否则都会报错
advertised.listeners=PLAINTEXT://localhost:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
# 存储目录
log.dirs=/xx/logs/kraft/9092

生成集群 ID

bin % ./kafka-storage.sh random-uuid
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory]
mrK5v9Z0TgW5RzOhJINKAg

格式化存储目录

使用上面生成的集群 ID 来格式化存储目录

bin % ./kafka-storage.sh format -t mrK5v9Z0TgW5RzOhJINKAg -c /xx/kafka/config/kraft/server.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory]
Formatting /xx/logs/kraft/9092 with metadata.version xx.

Formatting /xx/logs/kraft/9092 with metadata.version xx. 看到这段输出表示格式化成功了,如果要启动多个节点,确保每个节点使用上面生成的集群 ID 来格式化目录。
存储目录下会生成 meta.properties 文件,内容如下:

#Thu Nov 07 15:35:41 CST 2024
node.id=1
directory.id=4kbMnKtvhPVAX2hpLdcy-g
version=1
cluster.id=mrK5v9Z0TgW5RzOhJINKAg

启动服务

在 idea 中直接配置启动类,设置配置文件地址为上面格式化目录时指定的地址:config/kraft/server.properties
在这里插入图片描述
启动成功,不需要在额外依赖其他服务了,对于本地调试来说,会方便很多。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/59025.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java:使用Jackson的jsonPtrExp获取节点值的问题说明

使用Jackson时解析json时,经常会使用jsonPath直接获取某一节点下的值,这种方式非常直观 ,例如: { “data”: { "test1": "value1", "test2": null, "test3": 10 } } 以Jackson2.13.5&…

链表存储密度

链表的存储密度是一个衡量链表空间利用率的指标。为了理解链表的存储密度,我们需要先简单了解一下链表的基本结构和特点。 链表的基本结构 链表是一种线性数据结构,其中每个元素(称为节点)包含两部分: 数据域&#…

Android下的系统调用 (syscall),内联汇编syscall

版权归作者所有,如有转发,请注明文章出处:https://cyrus-studio.github.io/blog/ 什么是系统调用 (syscall) 系统调用是操作系统提供给应用程序的一组接口,允许用户空间程序与内核进行交互。 在 Android(基于 Linux …

大语言模型安全威胁

文章目录 基座安全一、大模型训练阶段(1)训练环境安全风险(2)训练环境隔离缺陷 二、大模型部署阶段(1)利用不安全系统配置(2)CI&CD流程攻击(3)部署环境组…

RAGulator:如何识别和缓解大模型所谓的“忠实幻觉”

RAGulator,一个轻量级的、用于检测RAG系统中语义上与上下文不符(OOC)的LLM生成文本的检测器 论文链接:https://arxiv.org/abs/2411.03920 论文概述 实时检测大型语言模型(LLM)生成的与上下文不符的输出问题&#xff…

简单介绍 Spring 中获取 Bean 的三种方式

文章目录 一、自动注入方式二、从 ApplicationContext 手动获取 Bean三、使用 BeanFactory 获取 Bean四、总结推荐阅读文章 在 Spring 应用中,Bean 是项目的核心。无论是通过自动注入、依赖注入还是手动获取 Bean,了解获取 Bean 的多种方式能够帮助我们更…

Git核心概念

目录 版本控制 什么是版本控制 为什么要版本控制 本地版本控制系统 集中化的版本控制系统 分布式版本控制系统 认识Git Git简史 Git与其他版本管理系统的主要区别 Git的三种状态 Git使用快速入门 获取Git仓库 记录每次更新到仓库 一个好的 Git 提交消息如下&#…

虚拟现实技术在旅游行业的应用

💓 博客主页:瑕疵的CSDN主页 📝 Gitee主页:瑕疵的gitee主页 ⏩ 文章专栏:《热点资讯》 虚拟现实技术在旅游行业的应用 虚拟现实技术在旅游行业的应用 虚拟现实技术在旅游行业的应用 引言 虚拟现实技术概述 定义与原理…

leetcode82:删除排序链表中的重复节点||

给定一个已排序的链表的头 head , 删除原始链表中所有重复数字的节点,只留下不同的数字 。返回 已排序的链表 。 示例 1: 输入:head [1,2,3,3,4,4,5] 输出:[1,2,5]示例 2: 输入:head [1,1,1,2…

基于SpringBoot的Java教学支持系统开发指南

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及,互联网成为人们查找信息的重要场所,二十一世纪是信息的时代,所以信息的管理显得特别重要。因此,使用计算机来管理教学辅助平台的相关信息成为必然。开发合适…

python3的基本数据类型:可变集合的用法

一. 简介 前面学习了 python3中的一种基本数据类型-集合,文章如下: python3的基本数据类型:集合的创建与分类-CSDN博客 本文继续学习 Python3中的集合,主要学习 可变集合的用法。 二. python3的基本类型:可变集合的…

【Linux系列】 环境配置文件合并的艺术:从`.env`到`.env.combined`

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

C/C++语言基础--C++模板与元编程系列五(可变惨模板,形参包展开,折叠表达式)

本专栏目的 更新C/C的基础语法,包括C的一些新特性 前言 模板与元编程是C的重要特点,也是难点,本人预计将会更新10期左右进行讲解,这是第五期,讲解可变惨模板,形参包展开,折叠表达式等&#x…

【验证实际问题记录】1.怎么改变rtl中宏的定义?

情形一:改变宏的值 rtl中如下&#xff1a; define U_DLY 1always (posedge clk or negedge rst_n)beginif (~rst_n)dout < #U_DLY 12h0;... end 诉求&#xff1a;验证过程中&#xff0c;希望在某些仿真里U_DLY为0。 我有尝试在验证平台的top_tb里重新定义U_DLY但是无效。…

Redis设计与实现 学习笔记 第十六章 Sentinel

Sentinel&#xff08;哨岗、哨兵&#xff09;是Redis的高可用性&#xff08;high availability&#xff09;解决方案&#xff1a;由一个或多个Sentinel实例&#xff08;instance&#xff09;组成的Sentinel系统可以监视任意多个主服务器&#xff0c;以及这些主服务器属下的从服…

贪心算法day05(k次取反后最大数组和 田径赛马)

目录 1.k次取反后最大化的数组和 2.按身高排序 3.优势洗牌 1.k次取反后最大化的数组和 题目链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 代码&#xff1a; class Solution {public int largestSumAfterKNegations(int[] nums, int k) {//如…

易语言加载dll模拟windows鼠标轨迹移动

一.简介 鼠标轨迹算法是一种模拟人类鼠标操作的程序&#xff0c;它能够模拟出自然而真实的鼠标移动路径。 鼠标轨迹算法的底层实现采用C/C语言&#xff0c;原因在于C/C提供了高性能的执行能力和直接访问操作系统底层资源的能力。 鼠标轨迹算法具有以下优势&#xff1a; 模拟…

Go语言的常用内置函数

文章目录 一、Strings包字符串处理包定义Strings包的基本用法Strconv包中常用函数 二、Time包三、Math包math包概述使用math包 四、随机数包&#xff08;rand&#xff09; 一、Strings包 字符串处理包定义 Strings包简介&#xff1a; 一般编程语言包含的字符串处理库功能区别…

【ESP32+MicroPython】网络编程基础

ESP32作为一款集成了Wi-Fi和蓝牙模块的微控制器&#xff0c;可以方便地与互联网连接&#xff0c;进行HTTP请求和数据传输。本教程将从Wi-Fi连接开始&#xff0c;逐步讲解ESP32如何在MicroPython环境下发送HTTP请求&#xff0c;并展示一些应用实例。我们将涵盖以下内容&#xff…

Springboot+Vue+mysql前后端分离的Java项目部署教程

参考了网上许多文章&#xff0c;有的使用的是nginx&#xff0c;eclipse&#xff0c;其实只要是数据库或者java的软件基本都大同小异。 本人使用phpstudy对项目进行部署&#xff0c;亲测有效。 需要的软件&#xff1a; 1.Node.js安装&#xff08;ps&#xff1a;这一步我也不知道…