kafka集群下载、启动、部署、测试

文章目录

- - - - 一、kafka基础操作
      - 1. kafka下载
        2. 解压
        3. 重命名
        4. 在kafka目录下创建 data 数据文件夹
        5. 修改配置文件
        6. 配置kafka环境变量
        7. 刷新环境变量，使之生效
      - 二、kafka集群操作
      - 2.1. 分发配置好的基础安装包
        2.2. 登录ly-02服务器，修改配置文件
        2.3. 登录ly-03服务器，修改配置文件
        2.3. 启动zk集群
      - 三、kafka 基础命令操作
      - 3.1. kafka常用命令总览
        3.2. 单机前台启动kafka和关闭kafka
        3.3. 单机后台(也叫守护式) 启动kafka和关闭kafka
      - 四、kafka集群命令脚本操作
      - 4.1. kafka集群启动脚本
        4.2. kafka集群关闭脚本
        4.3. 集群说明

一、kafka基础操作

1. kafka下载

wget https://archive.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz

2. 解压

tar -zxvf kafka_2.13-2.4.0.tgz -C /app

3. 重命名

mv kafka_2.13-2.4.0 kafka

4. 在kafka目录下创建 data 数据文件夹

cd /app/kafka
mkdir data

5. 修改配置文件

/app/kafka/config
vim server.properties
#第一处 60行

log.dirs=/app/kafka/data

在这里插入图片描述
#第一处 123行

zookeeper.connect=ly-01:2181,ly-02:2181,ly-03:2181

在这里插入图片描述

6. 配置kafka环境变量

(目的使用kafka命令不用进到kafka目录执行)

sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/app/kafka
export PATH=$PATH:$KAFKA_HOME/bin

在这里插入图片描述

7. 刷新环境变量，使之生效

source /etc/profile

二、kafka集群操作

2.1. 分发配置好的基础安装包

将配置好的kafka同步到ly-02，ly-03服务器的2个节点

scp -r kafka/ root@ly-02:/app
scp -r kafka/ root@ly-03:/app

下面有2件事情要做，

修改ly-02和ly-03 上kafka的配置文件中的brokerid，全局唯一补鞥重复，由于刚才是复制的同步的因此需要同步后进行修改
启动zk集群
启动kafka
思考？kafka集群启动有3个节点，一个一个启动太麻烦，因此需要制作kafka启动脚本

2.2. 登录ly-02服务器，修改配置文件

cd /app/kafka/config/
vim server.properties
#将broker.id=0修改为等于1

在这里插入图片描述

2.3. 登录ly-03服务器，修改配置文件

cd /app/kafka/config/
vim server.properties
#将broker.id=0修改为等于2

在这里插入图片描述

2.3. 启动zk集群

登录ly-01服务器

#进入zk目录，找到咱们的脚本（脚本在哪都可以）
/app/zookeeper-3.5.7
#启动zk集群
./zkmanage.sh start

在这里插入图片描述

三、kafka 基础命令操作

3.1. kafka常用命令总览

在这里插入图片描述

3.2. 单机前台启动kafka和关闭kafka

bin/kafka-server-start.sh config/server.properties
bin/kafka-server-stop.sh config/server.properties

这种启动在命令窗口中启动，不能关闭窗口，关闭窗口kafka服务也关了，因此这种启动方式不建议使用。

3.3. 单机后台(也叫守护式) 启动kafka和关闭kafka

bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-stop.sh  -daemon config/server.properties

在这里插入图片描述

这种方式启动确实满足kafka了，但是这种方式也太麻烦了。因此需要手动只做kafka启动关闭集群脚本

四、kafka集群命令脚本操作

4.1. kafka集群启动脚本

#创建kk-start.sh文件
vim kk-start.sh
#复制一下内容到脚本中
#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka starting....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties"
done
#保存退出
#给脚本赋予可执行权限
chmod u+x kk-start.sh
#启动kafka集群
./kk-start.sh
#注：前提是启动zk集群

4.2. kafka集群关闭脚本

#创建kk-stop.sh文件
vim kk-stop.sh
#复制一下内容到脚本中
#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka stopping....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-stop.sh /app/kafka/config/server.properties"
done
#保存退出
#给脚本赋予可执行权限
chmod u+x kk-stop.sh
#启动kafka集群
./kk-stop.sh