04、Kafka集群安装

1、准备工作

首先准备一台虚拟机，centos7系统，先在一台上配置安装后，最后克隆成多台机器。

1.1 安装JDK

（1）下载JDK，上传到 /root/software 路径

下载地址：https://www.oracle.com/cn/java/technologies/downloads/

（2）解压

tar -zxvf jdk-8u411-linux-x64.tar.gz -C /usr/local/

（3）配置环境变量

编辑配置文件：

vim /etc/profile

在文本末尾添加：

export JAVA_HOME=/usr/local/jdk1.8.0_411
export PATH=$PATH:$JAVA_HOME/bin

保存并退出，输入下面命令使配置生效：

source /etc/profile

查看是否生效：

echo $JAVA_HOME

结果为我们配置的路径即可。

1.2 zookeeper 下载安装

（1）下载 zookeeper，上传到 /root/software 路径

下载地址：https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz

（2）解压

tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz -C /usr/local/

（3）编辑配置文件

进入配置文件路径

/usr/local/apache-zookeeper-3.8.4-bin/conf

修改配置文件名称zoo_sample.cfg 为 zoo.cfg。

mv zoo_sample.cfg zoo.cfg

修改zookeeper数据路径：

dataDir=/usr/local/apache-zookeeper-3.8.4-bin

添加配置：

dataDir=/usr/local/apache-zookeeper-3.8.4-bin/data
dataLogDir=/usr/local/apache-zookeeper-3.8.4-bin/logsserver.1=192.168.135.132:2888:3888
server.2=192.168.135.133:2888:3888
server.3=192.168.135.134:2888:3888

image-20240508133244372

dataDir:服务器存储快照文件目录。
dataLogDir:服务器存日志文件目录。
server.A=B:C:D
含义：
A:节点在集群中的唯一ID，需要与dataDir/myid文件中的内容保持一致，取值范围为1~255。
B：节点的服务器IP地址。
C：集群中Follower节点与Leader 节点之间通信的端口。
D：当集群中的Follower节点宕机或出现故障时，集群进行重新选举Leader时所使用的端口。

（4）在 /usr/local/apache-zookeeper-3.8.4-bin/data 新建一个myid文件，内容是1，表示服务器ID。

echo 1 >/usr/local/apache-zookeeper-3.8.4-bin/data/myid

（5）修改环境变量

vim /etc/profile

添加ZOOKEEPER_HOME，并将其添加到PATH的后面。

export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.8.4-binexport PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin

1.3 Kafka 下载安装

（1）下载 Kafka，上传到 /root/software 路径

下载地址：https://mirrors.aliyun.com/apache/kafka/3.7.0/kafka_2.12-3.7.0.tgz

（2）解压

tar -zxvf kafka_2.12-3.7.0.tgz -C /usr/local/

（3）配置环境变量

编辑配置文件：

vim /etc/profile

在文本末尾添加：在PATH的后面添加$KAFKA_HOME/bin

export KAFKA_HOME=/usr/local/kafka_2.12-3.7.0export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin

image-20240507131934936

保存并退出，输入下面命令使配置生效：

source /etc/profile

查看是否生效：

echo $KAFKA_HOME

结果为我们配置的路径即可。

（4）修改配置文件

修改配置文件

# 当前节点的ID号
broker.id=1
# Kafka 数据保存的目录
log.dirs=/usr/local/kafka_2.12-3.7.0/data

1.4 克隆虚拟机

（1）右键虚拟机，管理，克隆

（2）克隆后，进入虚拟机，查看ip

image-20240507140928451

我的分别是

192.168.135.132、192.168.135.133、192.168.135.134

（3）分别修改 Kafka 中 zookeeper配置

/usr/local/kafka_2.12-3.7.0/config/server.properties

# 当前节点的ID号，三台机器分别设置为1，2，3
broker.id=1# kafka监听的ip和端口，一定要改成虚拟机本机的ip，端口默认使用9092
listeners=PLAINTEXT://192.168.135.132:9092# zookeeper连接，配置为三台机器，最后的/kafka表示会在Zookeeper的根下创建kafka节点，管理所有kafka元数据
zookeeper.connect=192.168.135.132:2181,192.168.135.133:2181,192.168.135.134:2181/kafka

（4）分别修改 zookeeper 的myid配置

vim /usr/local/apache-zookeeper-3.8.4-bin/data/myid将里面数字根据机器id分别改成 1，2，3

（5）分别启动三台机器 zookeeper

cd /usr/local/apache-zookeeper-3.8.4-bin/bin
sh zkServer.sh start

image-20240507142656178

（6）分别启动三台机器的kafka

cd /usr/local/kafka_2.12-3.7.0
bin/kafka-server-start.sh -daemon config/server.properties

image-20240507143011714

2、问题处理：

1、如果你的zookeeper启动失败，查看日志

报错：Cannot open channel to 2 at election address /192.168.135.133:3888
java.net.NoRouteToHostException: No route to host (Host unreachable)

image-20240508153952453

是因为没有权限开启其他机器的端口，可以去开放指定端口，或者是关闭防火墙。

关闭防火墙：

systemctl stop firewalld.service

如果需要永久关闭，再执行下面命令：

sudo systemctl disable firewalld
sudo systemctl mask --now firewalld

2、如果你在启动kafka报错，报错日志：

[2024-05-08 00:43:28,805] ERROR Exiting Kafka due to fatal exception during startup. (kafka.Kafka$)
java.lang.RuntimeException: Invalid cluster.id in: /usr/local/kafka_2.12-3.7.0/data/meta.properties. Expected LeVt5skgTWmrMeCQk06U2g, but read dO89ne-BQm-hRzbnkqOQJAat org.apache.kafka.metadata.properties.MetaPropertiesEnsemble.verify(MetaPropertiesEnsemble.java:516)at kafka.server.KafkaServer.startup(KafkaServer.scala:250)at kafka.Kafka$.main(Kafka.scala:112)at kafka.Kafka.main(Kafka.scala)
[2024-05-08 00:43:28,805] INFO shutting down (kafka.server.KafkaServer)

image-20240508155617698

错误原因分析

直接原因：服务器在重启后出现的问题

根本原因：server.properties和meta.perporties（kafka启动后会在日志目录下生成的配置文件）配置文件的broke.id的值不一样，在我们服务重启后机器重启因meta.properties配置文件没处理掉，所以就会报错

解决方法：

方法一：

1、我们找到我们的server.properties配置文件的log.dirs参数的配置项，找到我们的log配置目录

2、将该目录下的meta.properties删除或别名

rm -rf /usr/local/kafka_2.12-3.7.0/data/meta.properties

方法二：

就是直接手动将meta.properties的值改成server.properties的值一致

2、kafka 在 zookeeper 中的目录说明

2.1 准备工作

（1）进入zookeeper客户端

/usr/local/apache-zookeeper-3.8.4-bin/bin/zkCli.sh

（2）查看目录下内容

ls /

image-20240508122755663

其中 kafka文件夹就是我们上面配置kafka中的 zookeeper.connect 配置时自动创建的。

2.2 /kafka 文件夹说明

查看 /kafka 下文件夹

ls /kafka

image-20240508123125576

（1）cluster

get /kafka/cluster/id

image-20240508123443266

id 代表一个kafka集群包含集群的版本信息，和集群id。

（2）controller

get /kafka/controller

image-20240508160047986

controller 是kafka中非常重要的一个角色，意为控制器，控制 partition 的 leader选举，topic 的crud操作。

brokerid 意为有其id对应的broker承担controller角色。

（2）controller_epoch

get /kafka/controller_epoch

image-20240508124707592

controller_epoch 表示controller 的纪元，每当controller的brokerid更换一次，controller_epoch就会加一。

（3）brokers

ls /kafka/brokers

image-20240508160542522

ls /kafka/brokers/ids

image-20240508160609215

ids，表示当前kafka的broker实例列表。

get /kafka/brokers/ids/1

image-20240509115524730

查看实例具体信息。

ls /kafka/brokers/topics

image-20240508161148323

查看现有的topic信息

（4）consumers

老版本用于存储kafka消费者的信息，主要保存对应的offset，新版本中基本不用
此时用户的消费信息，保存在一个系统的topic中:__consumer_offsets

（5）config

存放配置信息

image-20240508162244598

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/8904.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【PyTorch实战演练】使用CelebA数据集训练DCGAN（深度卷积生成对抗网络）并生成人脸（附完整代码）

【PyTorch实战演练】使用CelebA数据集训练DCGAN（深度卷积生成对抗网络）并生成人脸（附完整代码）

文章目录 0. 前言1. CelebA数据集1.1 核心特性与规模1.2 应用与用途1.3 获取方式1.4 数据预处理 2. DCGAN的模型构建2.1 生成器模型2.2 判别器模型 3. DCGAN的模型训练（重点）3.1 训练参数3.2 模型参数初始化3.3 训练过程 4. 结果展示4.1 loss值变化过程4…
阅读更多...
Linux —— 进程间通信

Linux —— 进程间通信

目录 一、进程间通信的介绍二、管道三、匿名管道四、命名管道五、system V进程间通信 一、进程间通信的介绍 1.进程间通信的概念 进程通信（Interprocess communication），简称：IPC； 本来进程之间是相互独立的。但是…
阅读更多...
Elasticsearch的基本使用

Elasticsearch的基本使用

Elasticsearch的基本使用 1.基本概念1.1 文档和字段1.2 索引和映射1.3 mysql与elasticsearch对比 2.索引库2.1 es中mapping映射属性2.2.es中索引库的增删改查 3.文档3.1 新增文档3.2 查询文档3.3 删除文档3.4 修改文档3.4.1 全量修改3.4.2 增量修改3.5 总结 4.DSL查询语法4.1 D…
阅读更多...
【LLM第三篇】名词解释：RLHF——chatgpt的功臣

【LLM第三篇】名词解释：RLHF——chatgpt的功臣

RLHF (Reinforcement Learning from Human Feedback) ，直译为：“来自人类反馈的强化学习”。RLHF是一种结合了强化学习和人类反馈的机器学习方法，主要用于训练大模型以执行复杂的任务，尤其是当这些任务难以通过传统的奖励函数来精…
阅读更多...
CCF-Csp算法能力认证， 202303-1重复局面（C++）含解析

CCF-Csp算法能力认证， 202303-1重复局面（C++）含解析

前言 推荐书目，在这里推荐那一本《算法笔记》（胡明），需要PDF的话，链接如下 「链接：https://pan.xunlei.com/s/VNvz4BUFYqnx8kJ4BI4v1ywPA1?pwd6vdq# 提取码：6vdq”复制这段内容后打开手机迅雷…
阅读更多...
大语言模型LLM入门篇

大语言模型LLM入门篇

大模型席卷全球，彷佛得模型者得天下。对于IT行业来说，以后可能没有各种软件了，只有各种各样的智体（Agent）调用各种各样的API。在这种大势下，笔者也阅读了很多大模型相关的资料，和很多新手一样&a…
阅读更多...
深圳CPDA|如何利用数据分析改进业务流程，提高效率？

深圳CPDA|如何利用数据分析改进业务流程，提高效率？

在当今数字化时代，数据已经成为企业决策和优化的关键资源。通过有效地收集、分析和应用数据，企业可以深入了解其业务流程中的瓶颈和问题，从而改进流程，提高效率。本文将探讨如何利用数据分析改进业务流程，并提高效率。…
阅读更多...
Vue3+vite优化基础架构（3）--- 优化vue-i18n国际化配置

Vue3+vite优化基础架构（3）--- 优化vue-i18n国际化配置

Vue3vite优化基础架构（3）--- 优化vue-i18n国际化配置 说明全部页面进行中英文使用测试中英文切换对ElementPlus里面的所有组件进行中英文切换 说明 这里记录下自己在Vue3vite的项目增加全局中英文切换按钮对页面进行中英文切换及同时对ElementPlus里面的…
阅读更多...
练习题（2024/5/9）

练习题（2024/5/9）

1删除二叉搜索树中的节点 给定一个二叉搜索树的根节点 root 和一个值 key，删除二叉搜索树中的 key 对应的节点，并保证二叉搜索树的性质不变。返回二叉搜索树（有可能被更新）的根节点的引用。 一般来说，删除节点可分为…
阅读更多...
【SAP ME 36】NetWearver数据源重定向（Oracle）

【SAP ME 36】NetWearver数据源重定向（Oracle）

禁止废话，直接上图！！！
阅读更多...
融知财经：期货在哪里可以交易？期货交易有哪些交易规则？

融知财经：期货在哪里可以交易？期货交易有哪些交易规则？

作为当前金融市场的一种投资方式，期货只适合一些投资者，比如想获得高收益的投资者，因为期货的风险系数很高。但是很多投资者还不知道期货的意思，在一个固定的交易场所，期货是买卖标准化商品或金融资产的远期合约的交易…
阅读更多...
RK3568 学习笔记 : u-boot 下通过设置 env ethact 设置当前工作的以太网设备

RK3568 学习笔记 : u-boot 下通过设置 env ethact 设置当前工作的以太网设备

前言 正点原子 ：RK3568 开发板 atompi-ca1 默认有两个网口，通过 u-boot mii 命令，可以查看 网口信息 > mii device MII devices: ethernetfe010000 ethernetfe2a0000 Current device: ethernetfe010000u-boot 下的以太网，不同…
阅读更多...
HA-MAc，透明质酸-甲基丙烯酸酯可用于制备具有交联能力的透明质酸基材料

HA-MAc，透明质酸-甲基丙烯酸酯可用于制备具有交联能力的透明质酸基材料

【基本信息】 Hyaluronate Methacrylate（甲基丙烯酸酯化透明质酸，简称HA-MAc）是一种重要的生物材料 中文名称：甲基丙烯酸酯化透明质酸、透明质酸-甲基丙烯酸酯 英文名称：Hyaluronate Methacrylate、HA-MAc 分子量&…
阅读更多...
python代码自动生成器原理 python 生成器原理

python代码自动生成器原理 python 生成器原理

python生成器原理剖析 函数的调用满足“后进先出”的原则，也就是说，最后被调用的函数应该第一个返回，函数的递归调用就是一个经典的例子。显然，内存中以“后进先出”"方式处理数据的栈段是最适合用于实现函数调用的载体&…
阅读更多...
使用Maven对Scala独立应用程序进行编译打包

使用Maven对Scala独立应用程序进行编译打包

一、 安装Maven 1.解压，移动安装包 sudo tar -zxf ~/apache-maven-3.9.6-bin.tar.gz -C /usr/local/ cd /usr/local/ sudo mv apache-maven-3.9.6/ ./maven-3.9.6 sudo chown -R qiangzi ./maven-3.9.6 二、Scala应用程序代码 1.在终端中执行如下命令创建一个文…
阅读更多...
【C++】C++11--- lambda表达式

【C++】C++11--- lambda表达式

目录 Lambda表达式概述 Lambda表达式语法定义 Lambda表达式参数详解 Lambda捕获列表 捕获列表总结 Lambda参数列表 可变规则mutable lambda表达式原理 Lambda表达式概述 当对自定义类型的数据集合进行排序时，需要根据自定义类型的不同属性去实现不同的排序方…
阅读更多...
百病之源，根在肝脏！4种养肝法，助您对症养肝，越养越健康~

百病之源，根在肝脏！4种养肝法，助您对症养肝，越养越健康~

如今生活节奏比较快，人们的身体和精神都承受着巨大的压力，熬夜加班、喝酒应酬、通宵上网等，这些习惯都在悄悄损耗我们的肝脏，使得大家长期处于亚健康的边缘！ 中医讲，百病之源，根在肝脏。肝不好…
阅读更多...
二总线，替代传统485总线通讯，主站设计

二总线，替代传统485总线通讯，主站设计

二总线通信设计专栏 《二总线，替代传统485总线通讯，选型及应用-CSDN博客》《二总线，替代传统485总线通讯，低成本直流载波方案实现及原理-CSDN博客》《二总线，替代传统485总线通讯，调试避坑指南之最大的电流…
阅读更多...
深度学习：基于TensorFlow 和 Keras，使用神经网络回归模型预测 IPL 分数

深度学习：基于TensorFlow 和 Keras，使用神经网络回归模型预测 IPL 分数

前言 系列专栏：机器学习：高级应用与实践【项目实战100】【2024】✨︎ 在本专栏中不仅包含一些适合初学者的最新机器学习项目，每个项目都处理一组不同的问题，包括监督和无监督学习、分类、回归和聚类，而且涉及创建深度学…
阅读更多...
Cesium 问题：billboard 加载未出来

Cesium 问题：billboard 加载未出来

文章目录 问题分析问题 接上篇 Cesium 展示——图标的依比例和不依比例缩放，使用加载 billboard 时，怀疑是路径的原因导致未加载成功 分析 原先
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023