文章目录
- 一、KAFKA 启动与监控
- 二、KAFKA 主题创建于查看生产与消费
- 2.1. 查看主题列表
- 2.2. 创建主题
- 2.3. 查看主题信息
- 2.4. 主题信息分析
- 三、KAFKA 主题创建于查看生产与消费
- 3.1. 客户端监听消息
- 3.2. 生产消息
- 3.3. 从头监听消息
一、KAFKA 启动与监控
# 后台启动kafka
kafka-server-start.sh -daemon /app/kafka_2.12-2.8.0/config/server.properties# 监控kafka
ps -aux |grep kafka# 日志存放目录
cd /var/gblfy/kafka/kafka-logs[root@bogon kafka-logs]# pwd
/var/gblfy/kafka/kafka-logs
[root@bogon kafka-logs]# ll
总用量 4
-rw-r--r--. 1 root root 0 9月 15 13:25 cleaner-offset-checkpoint
-rw-r--r--. 1 root root 0 9月 15 13:25 log-start-offset-checkpoint
-rw-r--r--. 1 root root 54 9月 15 13:25 meta.properties
-rw-r--r--. 1 root root 0 9月 15 13:25 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root 0 9月 15 13:25 replication-offset-checkpoint
二、KAFKA 主题创建于查看生产与消费
2.1. 查看主题列表
kafka-topics.sh --zookeeper localhost:2181/mykafka --list
2.2. 创建主题
创建主题指定主题名称、该主题有几个分区，每个分区有几个副本
副本就是为了提高高可用，主从切换，要求一个分区的不同副本必须在不同的服务器上，否则没有意义
# 创建一个主题名称为topic_1 该主题分区1个分区 ，该分区有1个副本
kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 创建一个主题名称为topic_2 分区个数为5个 ，每个分区各有1个副本
kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_2 --partitions 5 --replication-factor 1
2.3. 查看主题信息
# 查看主体名称为topic_1的具体信息
kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1# 查看主体名称为topic_2的具体信息
kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2
2.4. 主题信息分析
[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1
Topic:topic_1 PartitionCount:1 ReplicationFactor:1 Configs:Topic: topic_1 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
当前topic_1主题，有1个分区，0号分区，这个分区在0号服务器上，一个副本，在0号服务器上
[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2
Topic:topic_2 PartitionCount:5 ReplicationFactor:1 Configs:Topic: topic_2 Partition: 0 Leader: 0 Replicas: 0 Isr: 0Topic: topic_2 Partition: 1 Leader: 0 Replicas: 0 Isr: 0Topic: topic_2 Partition: 2 Leader: 0 Replicas: 0 Isr: 0Topic: topic_2 Partition: 3 Leader: 0 Replicas: 0 Isr: 0Topic: topic_2 Partition: 4 Leader: 0 Replicas: 0 Isr: 0
# 主题topic_2，该主题有5个分区，分别是0/1/2/3/4/5号分区，每个分区各有一个副本，每个分区都在0号服务器上
三、KAFKA 主题创建于查看生产与消费
3.1. 客户端监听消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
3.2. 生产消息
#
kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1# 在实时窗口中，生产消息，消费者就会实时监听消息
如下图所示：
3.3. 从头监听消息
把消费者关闭，重新启动，默认消费者就会之监听在此时间之后的消息，之前的消息不能监听，那如果有需求需要监听以前的所有消息，那该如何处理呢？
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning
