（二十六）大数据实战——kafka集群之Kraft模式安装与部署

前言

本节内容主要介绍kafka3.0版本以后，一种新的kafka集群搭建模式看kraft，在该模式下，kafka高可用不在依赖于zookeeper，用 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。

正文

①解压kafka安装包到/opt/module/kafka-kraft目录下

- 命令：

mkdir -p /opt/module/kafka-kraft
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/kafka-kraft

②修改kafka目录下/opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft的配置文件server.properties

- server.properties配置文件目录

- 服务器基础配置

############################# Server Basics ############################## The role of this server. Setting this puts us in KRaft mode
process.roles=broker,controller# The node id associated with this instance's roles
node.id=1# The connect string for the controller quorum
controller.quorum.voters=1@hadoop101:9093,2@hadoop102:9093,3@hadoop103:9093

- 对外暴露地址的配置

advertised.listeners=PLAINTEXT://hadoop101:9092

- 配置数据存储目录

log.dirs=/opt/module/kafka-kraft/kafka_2.12-3.0.0/data

③同步kafka的kraft模式安装包到hadoop102和hadoop103，并修改配置

- 同步kafka安装包

- 修改hadoop102的server.properties配置文件

- 修改hadoop103的server.properties配置文件

④初始化kafka-kraft集群数据目录

- 生成存储目录唯一 ID
bin/kafka-storage.sh random-uuid
- 用该ID格式化kafka集群的存储目录
bin/kafka-storage.sh format -t 4l-ahopRSLSJlH-qxczhYg -c /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties

⑤创建kafka集群启停脚本

- 在kafka的bin目录创建集群启停脚本my-kafka-kraft.sh

#! /bin/bash
case $1 in
"start"){for i in hadoop101 hadoop102 hadoop103doecho " --------启动 $i Kafka2-------"ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties"done
};;
"status"){for i in hadoop101 hadoop102 hadoop103doecho =============== $i ===============ssh $i jpsdone
};;
"stop"){for i in hadoop101 hadoop102 hadoop103doecho " --------停止 $i Kafka2-------"ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "done
};;
esac

- 在hadoop101服务器创建my-kafka-kraft.sh脚本