学习Kafka，掌握Kafka的单机部署是理解其分布式特性的第一步。本文将手把手带你完成Kafka单机环境的安装、配置及基础验证，涵盖常见问题排查技巧。
1 环境准备
1.1 系统要求
- 操作系统：CentOS 7.9
- 依赖组件：JDK 8+（Kafka 2.8+需要JDK11+）、ZooKeeper（Kafka 2.8+内置ZooKeeper，可跳过独立安装）
- 资源建议：至少2核CPU，4GB内存，磁盘空间 ≥ 10GB（日志保留默认7天）
# 检查Java版本（示例为CentOS）
[root@node6 kafka]# java -version
java version "11.0.25" 2024-10-15 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.25+9-LTS-256)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.25+9-LTS-256, mixed mode)
[root@node6 kafka]# 2 安装Kafka
2.1 下载与解压
下载地址： Index of /dist/kafka/3.6.0
tar -zxvf kafka_2.13-3.6.0.tgz -C /export/home/kafka/2.2 目录结构说明
[root@node6 kafka_2.13-3.6.0]# tree -L 1
.
├── bin/ # 【核心】Kafka 管理脚本（启动/停止/运维）
├── config/ # 【核心】配置文件（服务端、客户端、ZooKeeper）
├── libs/ # 【核心】Kafka 运行依赖的 Java 库（JAR 文件）
├── logs/ # 【运行时生成】日志文件（服务启动后自动生成）
├── licenses/ # 第三方依赖的许可证文件
├── site-docs/ # HTML 格式的官方文档（本地版）
├── LICENSE # Apache 2.0 许可证文件
└── NOTICE # 项目版权声明文件6 directories, 2 files
[root@node6 kafka_2.13-3.6.0]# 3 配置Kafka
3.1 单机模式配置
# 编辑config/server.properties核心参数：备份文件并添加如下内容
cp config/server.properties config/server.properties_bak
cat >config/server.properties<<EOF
# Broker唯一ID（单机保持默认即可）
broker.id=0# 监听地址（重要！改成实际IP或0.0.0.0）
listeners=PLAINTEXT://192.168.10.35:9092# 日志存储目录（确保有写入权限）
log.dirs=/export/home/kafka/kafka_2.13-3.6.0/logs# ZooKeeper连接地址（单机默认）
zookeeper.connect=localhost:2181# 每个Topic的默认分区数（根据需求调整）
num.partitions=1# 日志保留时间（小时）
log.retention.hours=168# 单个日志段最大大小（默认1GB）
log.segment.bytes=1073741824# 网络线程数（建议CPU核数）
num.network.threads=2# IO线程数（建议2*CPU核数）
num.io.threads=4
EOF3.2 启动内置ZooKeeper
# 启动内置ZooKeeper（前台运行，观察日志）
/export/home/kafka/kafka_2.13-3.6.0/bin/zookeeper-server-start.sh /export/home/kafka/kafka_2.13-3.6.0/config/zookeeper.properties# 新终端窗口启动Kafka
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-server-start.sh /export/home/kafka/kafka_2.13-3.6.0/config/server.properties4 验证服务
4.1 创建Topic
# 创建名为test的Topic，1分区1副本
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --create \--bootstrap-server 192.168.10.35:9092 \--replication-factor 1 \--partitions 1 \--topic testLast login: Thu Apr 3 21:54:04 2025 from 192.168.10.2
[root@node6 ~]# /export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --create \
> --bootstrap-server 192.168.10.35:9092 \
> --replication-factor 1 \
> --partitions 1 \
> --topic test
Created topic test.
[root@node6 ~]# # 查看Topic详情
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.35:9092[root@node6 ~]# /export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.35:9092
Topic: test TopicId: ripsPks_T2Od3POsa7e5LQ PartitionCount: 1 ReplicationFactor: 1 Configs: segment.bytes=1073741824Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
[root@node6 ~]# 4.2 生产与消费消息
# 启动生产者（输入消息后按Ctrl+C退出）
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-console-producer.sh \--bootstrap-server 192.168.10.35:9092 \--topic test# 新终端启动消费者（从头开始消费）
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-console-consumer.sh \--bootstrap-server 192.168.10.35:9092 \--topic test \--from-beginning5 常见问题排查
5.1. 端口冲突
- 错误现象：Address already in use
- 解决方案
# 检查端口占用
netstat -tulnp | grep 9092
# 终止冲突进程或修改Kafka监听端口5.2 磁盘空间不足
- 日志清理
# 手动删除旧日志（谨慎操作！）
rm -rf /export/home/kafka/kafka_2.13-3.6.0/logs/test-0/*
# 或配置自动清理（server.properties）
log.retention.hours=168 # 保留7天5.3 ZooKeeper连接失败
- 检查ZK状态
netstat -tulnp | grep 2181
)
