Kafka基本原理及使用

基本概念

单机版

环境准备

基本命令使用

集群版

消息模型

成员组成

1. Topic（主题）：

2. Partition（分区）：

3. Producer（生产者）：

4. Consumer（消费者）：

5. Broker（代理服务器）：

6. Zookeeper：

成员关系

基本概念

Kafka 是一个分布式流处理平台，主要用于实时处理和传输大规模数据流。

基本MQ功能:

异步
削峰
解耦

与RocketMq对比:

高吞吐量和低延迟
流式处理
生态环境更好

适合业务场景:

日志聚合： Kafka 作为一个分布式消息传递系统，非常适合用于收集和存储系统和应用程序产生的大量日志数据。它提供了持久性存储和高吞吐量的写入，是构建日志聚合系统的理想选择。
实时数据处理： Kafka 可以与流处理框架（如 Apache Flink、Apache Storm、Spark Streaming）集成，用于实时处理和分析数据流。这使得 Kafka 在需要实时数据处理、计算和分析的场景中非常有用。
事件溯源： 对于需要记录系统每个状态变化的场景，例如金融交易、订单处理等，Kafka 支持事件溯源，帮助构建可追溯、可审计的系统。
消息队列： Kafka 作为分布式消息队列，可用于解耦生产者和消费者之间的通信。这在微服务架构中尤为重要，帮助构建松耦合的系统。
数据集成： Kafka 提供 Kafka Connect，一个用于数据集成的工具，用于连接 Kafka 与其他数据存储系统，支持构建端到端的数据流管道。
大数据管道： Kafka 可以作为大数据管道的核心组件，用于连接和传递大规模数据集，以支持数据湖、数据仓库等大数据处理场景。

单机版

环境准备

1. 从官网下载kafka, 这里选择3.4.0版本,官网:Apache Kafka

2. 解压压缩包

tar -zxvf kafka_2.13-3.4.0.tgz

3. 启动自带的zookeeper, jps检查是否启动成功

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

4. 启动kafka

nohup bin/kafka-server-start.sh config/server.properties &

5. jps检查是否启动成功

基本命令使用

1. 创建topic

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092

2. 查看topic

bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

3. 发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4. 消费消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

5. 从起点开始消费消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test

6. 从指定地方消费消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test

7. 分组消费消息

示例:创建三个消费者A,B,C, 其中A和B属于testGrroup消费者组, C属于testGrroup2消费者组

#开一个终端1, 配置消费者组testGrroup 
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test#开一个终端2, 配置消费者组testGrroup 
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test#开一个终端3, 配置消费者组testGrroup2
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test#结果: 终端1和2会竞争消息, 一条只会被其中一个实例消费; 终端3独享消费群组, 每条消息能消费

集群版