KAFKA 最新版单机安装、配置、部署（linux环境）

文章目录

- - - - 一、基础软件下载
      - 1. JDK
        2. KAFKA
        3. ZOOKEEPER
      - 二、zookeeper配置启动
      - 2.1. 解压
        2.2. 配置环境变量
        2.3. 刷新环境变量
        2.4. 配置文件调整
        2.4. 启动zookeeper
        2.5. 监控zk启动状态
        2.6. 查看日志
      - 三、kafka配置启动
      - 3.1. 解压
        3.2. 配置环境变量
        3.3. 刷新环境变量
        3.4. 验证是否生效
        3.5. 配置文件
        3.6. 数据目录配置
        3.7. 创建数据目录
        3.8. 启动kafka
        3.9. 登录zk验证节点
        3.10. kafka服务停止
        3.11. 环境变量

一、基础软件下载

1. JDK

Linux 安装、卸载JDK

2. KAFKA

http://kafka.apache.org/downloads
在这里插入图片描述

wget https://dlcdn.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

3. ZOOKEEPER

https://archive.apache.org/dist/zookeeper/
在这里插入图片描述

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz

二、zookeeper配置启动

2.1. 解压

cd /app
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
mv apache-zookeeper-3.7.0-bin zookeeper-3.7.0

2.2. 配置环境变量

vim /etc/profile# ZK
export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
export PATH=$PATH:${ZOOKEEPER_HOME}/bin
# 修改zk保存数据文件的目录
export ZK_LOG_DIR=/var/gblfy/zookeeper/log

2.3. 刷新环境变量

source /etc/profile

2.4. 配置文件调整

cd zookeeper-3.7.0/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg将dataDir=/tmp/zookeeper调整为
dataDir=/var/gblfy/zookeeper/data

2.4. 启动zookeeper

cd /app/zookeeper-3.7.0/bin
./zkServer.sh start

2.5. 监控zk启动状态

./zkServer.sh status

2.6. 查看日志

cd /var/gblfy/zookeeper

在这里插入图片描述

三、kafka配置启动

3.1. 解压

tar -zxvf kafka_2.12-2.8.0.tgz

3.2. 配置环境变量

vim /etc/profile#kafaka
export KAFKA_HOME=/app/kafka_2.12-2.8.0
export PATH=$PATH:${KAFKA_HOME}/bin

3.3. 刷新环境变量

source /etc/profile

3.4. 验证是否生效

输入kafka-按Tab键（命令补全），如果自动显示下面这些脚本说明，配置环境变量生效

在这里插入图片描述

3.5. 配置文件

1.指定 kafka在哪存储消息持久化的数据目录
2.kafka连接zookeeper的地址以及kafka的节点

cd /app/kafka_2.12-2.8.0/config/
vim server.properties将#zookeeper.connect=localhost:2181
修改为
zookeeper.connect=localhost:2181/mykafka
# 在zk根目录下，会创建一个mykafka节点，这个节点的子节点，存放的是kafka的元数据

在这里插入图片描述

3.6. 数据目录配置

将 #log.dirs=/tmp/kafka-logs
修改为
log.dir=/var/gblfy/kafka/kafka-logs
#指定 kafka在哪存储消息持久化的数据的目录

3.7. 创建数据目录

mkdir /var/gblfy/kafka/kafka-logs -p

3.8. 启动kafka

# 独占（前台）模式启动kafka
kafka-server-start.sh ../config/server.properties # 后台启动kafka
kafka-server-start.sh -daemon /app/kafka_2.12-2.8.0/config/server.properties

在这里插入图片描述

3.9. 登录zk验证节点

登录zk，在根目录下面是否是否创建mykafka节点

# 登录zk
zkCli.sh # 查看zk根节点
ls /# 查看mykafka里面的子节点
ls /mykafka

[zk: localhost:2181(CONNECTED) 0] ls /
[mykafka, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /mykafka
[cluster,集群controller, 控制器controller_epoch,控制器的纪元brokers,kafka实例有哪些？admin, 管理者isr_change_notification, 同步的副本consumers, 消费者log_dir_event_notification,  log_dir的一个事件通知latest_producer_id_block, 最后一个生产者config]
[zk: localhost:2181(CONNECTED) 2]

在这里插入图片描述
到目前这一步，节点创建成功了，kafka启动也没问题！

3.10. kafka服务停止

# 停止kafka服务
kafka-server-stop.sh

3.11. 环境变量

export JAVA_HOME=/data/soft/jdk1.8
export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
export KAFKA_HOME=/app/kafka_2.12-2.8.0
export PATH=.:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
scl enable devtoolset-9 bash# 修改zk保存数据文件的目录
export ZK_LOG_DIR=/var/gblfy/zookeeper/log