Kafka简介

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。架构特点是分区、多副本、多生产者、多订阅者，性能特点主要是高吞吐，低时延。

Kafka主要设计特征如下：

• 通过时间复杂度为O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

• 高吞吐量 ：即使是非常普通的硬件机器，Kafka也可以支持每秒数百万的消息。

• 支持Kafka 服务间的消息分区，及分布式消费，同时保证每个分区内的消息顺序传输。

• 同时支持离线数据处理和实时数据处理。

• 支持数据水平扩展和副本备份

• Kafka集群按照主题分类管理，一个主题可以有多个分区，一个分区可以有多个副本分区（分区的容灾手段）

Kafka的消息传递模型使用的是发布-订阅模块，对于消息的消费使用的是消费者主动拉取模型，并不像rocketmq、rabbitmq等主流消息中间件提供服务端推送消息服务。如果要实现类似于推送的效果，只能通过消费者轮询的方式。

Kafka主要有如下几个核心API：

• Admin API 主要用于管理和检查Topics, brokers和其他kafka对象

• Producer API：发布消息、事件流到一个或多个kafka主题

• Consumer API：订阅一个或多个kafka主题，处理producer api发布的事件流消息