【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建

文章目录

  • 一. kafka kraft 集群介绍
    • 1. KRaft架构
    • 2. Controller 服务器
    • 3. Process Roles
    • 4. Quorum Voters
    • 5. kraft的工作原理 ing
  • 二. 集群安装
    • 1. 安装
      • 1.1. 配置
      • 1.2. 格式化
    • 2. 启动测试
      • 2.1. 启功节点服务
      • 2.2. 测试

本文主要介绍了

  • kafka raft集群架构：
    与旧架构的不同点，有哪些优势，哪些问题
    架构成员有哪些，怎么规划。
  • 三节点集群安装、启动与测试

一. kafka kraft 集群介绍

1. KRaft架构

在这里插入图片描述

在旧的架构中

Kafka集群包含多个broker节点和一个ZooKeeper 集群。如上图集群结构：4个broker节点和3个ZooKeeper节点。Kafka 集群的controller在被选中后，会从 ZooKeeper 中加载它的状态。选举controller的过程是由zookeeper自动完成的。

 

在新的架构中

三个 controller 节点替代三个ZooKeeper节点。 controller节点和 broker 节点运行在不同的进程中。这些controller 节点中会选择一个成为Leader。新的架构中，controller不会向 broker 推送更新，而是 broker 从 controller Leader 拉取元数据的更新信息。

尽管 controller 进程在逻辑上与 broker 进程是分离的，但它们不需要在物理上分离。即在某些情况下，部分或所有 controller 进程和 broker 进程是可以是同一个进程，即一个broker节点即是broker也是controller。

 

2. Controller 服务器

在KRaft模式下，通过指定某些服务器作为控制器，在Server.properties的Process.roles 参数里面配置。

不像基于ZooKeeper的模式，（zk去做的事情，我们手动配置不了）任何服务器都可以成为控制器。这带来了一个非常优秀的好处，即如果我们认为 controller 节点的负载会比其他只当做broker节点高，那么可以为 controller 节点使用高配的机器。这就解决了在1.0, 2.0架构中， controller 节点会比其他节点负载高，却无法控制哪些节点能成为 controller 节点的问题。

被（手动配置）选中的 controller 节点将参与元数据集群的选举。对于当前的 controller 节点，每个控制器服务器要么是Active的，要么是Standby的。

用户通常会选择3或5台(奇数台)服务器成为 controller 节点，3和5的个数问题和Raft的原理一样，少数服从多数。

就像使用ZooKeeper一样，为了保持可用性，你必须让大部分 controller 保持active状态。如果你有3个controller，你可以容忍1个故障；在5个控制器中，您可以容忍2个故障。

 

3. Process Roles

在KRaft模式下，每个Kafka服务器都有一个新的配置项，叫做process.roles, 这个参数可以有以下值:

  • 如果process.roles = broker, 服务器在KRaft模式中充当 broker。
  • 如果process.roles = controller, 服务器在KRaft模式下充当 controller。
  • 如果process.roles = broker,controller，服务器在KRaft模式中同时充当 broker 和controller。

注意：如果process.roles 没有设置。那么集群就假定是运行在ZooKeeper模式下。

对于简单的场景，组合节点更容易运行和部署，可以避免多进程运行时，JVM带来的相关的固定内存开销。但controller将较少地与系统的其余部分隔离。例如，如果代理上的活动导致内存不足，controller也会受到例如OOM的影响。

 

4. Quorum Voters

系统中的所有节点都必须设置 controller.quorum.voters 配置。用于配置所有想成为controller的节点。

 

如果你有10个broker和 3个controller1，分别命名为controller1、controller2、controller3，你可能在 controller1上有以下配置:

process.roles=controller
node.id=1
listeners=CONTROLLER://controller1.example.com:9093
controller.quorum.voters=1@controller1.com:9093,2@controller2.com:9093,3@controller3.com:9093

controller.quorum.voters配置格式说明：nodeid1@controller-node1:9093,nodeid2@controller-node2:9093,nodeid3@controller-node3:9093

 
如果你只有三个节点，每个节点都是controller，broker角色，那么每个节点都这样配置

process.roles=broker,controller
listeners=CONTROLLER://controller1.example.com:9093
controller.quorum.voters=1@controller1.com:9093,2@controller2.com:9093,3@controller3.com:9093

 

5. kraft的工作原理 ing

KRaft: Apache Kafka Without ZooKeeper

 

二. 集群安装

进行三个节点的安装，如下规划：

节点node.id角色
node11controller,broker
node22controller,broker
node33controller,broker

1. 安装

kafka下载: https://kafka.apache.org/downloads
解压

tar -zxvf kafka_2.13-3.0.0.tgz

1.1. 配置

在node1中配置：server.properties

在{KAFKA_HOME}/config/kraft/server.properties

############################# Server Basics #############################java.home=/opt/jvm/java# The role of this server. Setting this puts us in KRaft mode
process.roles=broker,controller# The node id associated with this instance's roles
node.id={{broker_id}}# The connect string for the controller quorum
# 每个节点配置都一样：格式：{{broker_id_1}}@{{hostname1}}:9093,{{broker_id_2}}@{{hostname2}}:9093,{{broker_id_3}}@{{hostname3}}:9093
controller.quorum.voters={{voters}}############################# Log Basics ############################## A comma separated list of directories under which to store log files
# 数据存储目录
log.dirs=/opt/kafka3.5.0/logs

配置node2、node3，其余两个节点配置除了node.id不同，其他配置都相同。node.id配置如上节点规划。

 

1.2. 格式化

生成集群 ID

整个集群唯一的ID标志

$ ./bin/kafka-storage.sh random-uuid
qGuAL6YzRyWQdzt4cQTZgA

 

格式化存储目录

使用上面生成集群 uuid, 在三个节点上都执行格式化存储目录命令：

$ ./bin/kafka-storage.sh format \
-t xtzWWN4bTjitpL3kfd9s5g \
-c ./config/kraft/server.properties

 

2. 启动测试

2.1. 启功节点服务

在每个节点上执行

$ ./bin/kafka-server-start.sh ./config/kraft/server.properties

 

2.2. 测试

# 创建topic
$ bin/kafka-topics.sh --create \
--topic quickstart-events \
--bootstrap-server localhost:9092# 查看topic信息
$ bin/kafka-topics.sh --describe \
--topic quickstart-events \
--bootstrap-server localhost:9092Topic: quickstart-events        TopicId: NPmZHyhbR9y00wMglMH2sg PartitionCount: 1       ReplicationFactor: 1	Configs:Topic: quickstart-events Partition: 0    Leader: 0   Replicas: 0 Isr: 0# 生产消息
$ bin/kafka-console-producer.sh \
--topic quickstart-events  \
--bootstrap-server localhost:9092This is my first event
This is my second event#消费数据
$ bin/kafka-console-consumer.sh \
--topic quickstart-events \
--from-beginning --bootstrap-server localhost:9092This is my first event
This is my second event

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/223748.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Unity | Shader基础知识（第六集：语法＜如何加入外部颜色资源＞）

Unity | Shader基础知识（第六集：语法＜如何加入外部颜色资源＞）

目录 一、本节介绍 1 上集回顾 2 本节介绍 二、语法结构 1 复习 2 理论知识 3 Shader里声明的写法 4 Properties和SubShader毕竟不是一家人 三、 片元着色器中使用资源 四、代码实现 五、全部代码 六、下集介绍 相关阅读 Unity - Manual: Writing Surface Shaders…
阅读更多...
jpa 修改信息拦截

jpa 修改信息拦截

实现目标springbootJPA 哪个人，修改了哪个表的哪个字段，从什么值修改成什么值 import jakarta.persistence.*; import jakarta.servlet.http.HttpServletRequest; import lombok.extern.slf4j.Slf4j; import org.apache.commons.lang3.StringUtils; im…
阅读更多...
死锁（JAVA）

死锁（JAVA）

死锁在多线程代码中是非常严重的BUG，一旦代码中出现死锁就会导致线程卡死。 当单个线程连续两次对同一个对象进行加锁操作时，如果该锁是不可重入锁就会发生死锁（线程卡死） 两个线程两把锁，如果出现这种情况也是会发生…
阅读更多...
逻辑回归代价函数

逻辑回归代价函数

逻辑回归的代价函数通常使用交叉熵损失来定义。这种损失函数非常适合于二元分类问题。 本篇来推导一下逻辑回归的代价函数。 首先，我们在之前了解了逻辑回归的定义：逻辑回归模型是一种用于二元分类的模型，其预测值是一个介于0和1之间的概率…
阅读更多...
【产品设计】零代码核心模块之一：表单

【产品设计】零代码核心模块之一：表单

在数字化越来越高级、越来越智能的场景下，信息收集依旧是适用场景最为丰富的方式之一。 应用开发工作台开三大核心模块：表单、流程、报表。 表单：一般适合数据录入，专人管理，如：用户调研、产品入库&#x…
阅读更多...
项目篇 | 图书管理系统 | 图像加载与绘制

项目篇 | 图书管理系统 | 图像加载与绘制

项目篇 | 图书管理系统 | 图像加载与绘制 基本介绍 首先解释清楚什么叫图像加载与绘制，意思就是说项目中需要用到一些图片资源（各种图标），我们要在图书管理系统中展示这些图片，就需要先导入图片到项目中，再加载图片资源（通过资源路径）、绘制图片（即展示）。 注：如果…
阅读更多...
商业印刷市场分析：预计2029年将达到53004亿元

商业印刷市场分析：预计2029年将达到53004亿元

商业印刷技术显示了强大的生命力。电子商务的扩张性发展，传统的商务印刷行业也在逐渐的转型。中国印刷业已深度融入全球印刷加工产业链，为国际社会超过50个国家提供印刷包装服务。数据显示，中国印刷业对外加工贸易额已达842亿元。 商业印刷是…
阅读更多...
【无标题】C++ STL --＞模拟实现vector

【无标题】C++ STL --＞模拟实现vector

这篇文章将模拟实现vector类的常用函数 vector类的函数接口 namespace ding {template<class T>class vectot{public:typedef T* iterator;typedef const T* const_iterator;//Member functionsvector(); vector(size_t n, const…
阅读更多...
JVM的内存分区以及垃圾收集

JVM的内存分区以及垃圾收集

1.JVM的内存分区 1.1方法区 方法区(永久代&#xff09;主要用来存储已在虚拟机加载的类的信息、常量、静态变量以及即时编译器编译后的代码信息。该区域是被线程共享的。 1.2虚拟机栈 虚拟机栈也就是我们平时说的栈内存&#xff0c;它是为java方法服务的。每个方法在执行的…
阅读更多...
最大公因数，最小公倍数详解

最大公因数，最小公倍数详解

前言 对于初学编程的小伙伴们肯定经常遇见此类问题&#xff0c;而且为之头疼&#xff0c;今天我来给大家分享一下&#xff0c;最大公因数和最小公倍数的求法。让我们开始吧&#xff01; 文章目录 1&#xff0c;最大公因数法1法2法3 2&#xff0c;最小公倍数3&#xff0c;尾声 …
阅读更多...
[C++] 虚函数、纯虚函数和虚析构(virtual)

[C++] 虚函数、纯虚函数和虚析构(virtual)

&#x1f4e2;博客主页&#xff1a;https://blog.csdn.net/weixin_43197380&#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01;&#x1f4e2;本文由 Loewen丶原创&#xff0c;首发于 CSDN&#xff0c;转载注明出处&#x1f649;&…
阅读更多...
cmake 最基础示例

cmake 最基础示例

C 代码 文件名&#xff1a;first_cmake.cpp #include <iostream> using namespace std;int main() {cout<< "A" << endl;return 0; }CMakeLists.txt 文件 #CMakeLists.txt # 设置:版本 cmake_minimum_required(VERSION 3.20)# 定义 :项目名称 …
阅读更多...
宏基因组学及宏转录组学分析工具MOCAT2（Meta‘omic Analysis Toolkit 2）安装配置及常用使用方法

宏基因组学及宏转录组学分析工具MOCAT2（Meta‘omic Analysis Toolkit 2）安装配置及常用使用方法

详细介绍 尽管这个工具已经暂停后续开发&#xff0c;但其工具功能还是挺好的&#xff0c;大家可以参考一下&#xff0c;尤其对于喜欢自定义开发流程的可以参考是流程。 MOCAT 2&#xff08;Metaomic Analysis Toolkit 2&#xff09;是一个用于宏基因组和宏转录组数据分析的工具…
阅读更多...
Java实现快速排序算法

Java实现快速排序算法

快速排序算法 &#xff08;1&#xff09;概念&#xff1a;快速排序是指通过一趟排序将要排序的数据分割成独立的两部分&#xff0c;其中一部分的所有数据都比另外一部分的所有数据都要小&#xff0c;然后再按此方法对这两部分数据分别进行快速排序。整个排序过程可以递归进行&…
阅读更多...
TSINGSEE青犀城市道路积水AI检测算法视频智能监管解决方案

TSINGSEE青犀城市道路积水AI检测算法视频智能监管解决方案

近年来&#xff0c;由于城市区域内涝频发&#xff0c;遇到强降水天气出现路面严重积水的情况时有发生&#xff0c;影响交通通行甚至引发事故。所以&#xff0c;对下穿隧道、下沉式道路等路面积水情况的监测显得尤为重要。传统的监管方式很难及时发现道路积水情况&#xff0c;那…
阅读更多...
物易管预测性维护平台3.6.0版本上线，工况数据处理、设备故障模型、数据可视化等方面带来全新功能体验

物易管预测性维护平台3.6.0版本上线，工况数据处理、设备故障模型、数据可视化等方面带来全新功能体验

物易管设备预测性维护平台V3.6.0版本近日正式发布上线&#xff0c;相较V3.5.0版本次主要新增优化设备工况数据接入、工况数据模型训练、数据可视化以及设备监测详情优化四个板块。新版本在处理工况数据、设备故障模型、数据分析展示以及设备监测方面带来全新的体验。 01设备工况…
阅读更多...
Jtti：ssl协议未开启怎么解决？

Jtti：ssl协议未开启怎么解决？

如果你的服务器上的SSL协议未开启&#xff0c;可以按照以下步骤检查和解决问题。SSL协议通常由Web服务器配置和启用。以下是基于常见的Web服务器的步骤&#xff1a; Apache Web 服务器&#xff1a; 1.检查 Apache 是否加载了 SSL 模块&#xff1a; 在终端中运行以下命令&#x…
阅读更多...
基于SSM的高校疫情管理系统设计与实现论文

基于SSM的高校疫情管理系统设计与实现论文

摘 要 当下疫情不容松懈&#xff0c;此次新冠肺炎疫情是传播速度最快、感染范围最广、防控难度最大的一次重大突发公共卫生事件&#xff0c;疫情防控尤为重要&#xff0c;传统的基于纸质文本的疫情信息管理模式&#xff0c;效率低&#xff0c;无法满足管理需求&#xff0c;所以…
阅读更多...
若依源码分析

若依源码分析

一.登录 1.1 生成验证码 基本思路 后端生成一个表达式,74?11 74?转成图片,传到前端进行展示 将结果11存入redis 前端代码实现: 请求后端地址:http://localhost/dev-api/captchaImage,通过反向代理解决前后端跨域问题,将请求路径变为:http://localhost:8080/captchaImag…
阅读更多...
ESXI 6.7升级update3

ESXI 6.7升级update3

一、适用场景 1、企业已有专业服务器&#xff0c;通过虚拟化环境搭建了vm server&#xff1b; 2、备份整个vm server时&#xff0c;需要使用ovftool工具完成&#xff0c;直接导出ovf模板时报错&#xff1b; 3、升级EXSI6.7的build 8169922版本为update 3版本后&#xff0c;已保…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023