Apache Samza 是一个开源的分布式流处理框架，用于处理实时数据流和分布式任务。它最初由 LinkedIn 开发，并在 2014 年捐赠给 Apache 软件基金会。Samza 的设计目标是为开发人员提供一个易用、可靠、高效的流处理工具。以下是其关键特点和架构的简介：
核心特点
-
简单的编程模型
- 使用类似于 MapReduce 的 API，开发人员可以轻松定义和处理流数据。
- 支持通过高级抽象（如操作符）定义流计算逻辑。
-
容错性
- 依赖于 Apache Kafka 进行消息存储和传递，保证了消息的可靠性和可重放性。
- 自动处理失败的任务，并支持通过检查点恢复状态。
-
扩展性
- 可以处理从 KB 到 PB 的数据规模，支持水平扩展。
- 独立的任务执行框架，能够与 Yarn 或 Kubernetes 等集群管理工具集成。
-
多来源和多目标支持
- 支持多种数据源（如 Kafka、HDFS、数据库）和多种输出（如 Kafka、文件系统、数据库）
