Flink随笔 20241203 Flink重点内容

Flink 是一个强大的流处理框架，它的设计理念是高吞吐量、低延迟的流式计算。你提到的这些重点是 Flink 的核心组成部分，下面我将详细解析每一个方面。

窗口是 Flink 流处理中一个非常重要的概念，主要用于处理无限流数据。窗口将无限数据流分割成有限大小的数据块，进行计算和处理。Flink 提供了多种类型的窗口：

时间窗口（Time Window）：
- 滚动窗口（Tumbling Window）：窗口的大小是固定的，且无重叠。数据会被固定的时间切割成块，每个块独立处理。
- 滑动窗口（Sliding Window）：窗口大小固定，但窗口滑动步长可配置，可以有重叠。每次窗口滑动时，窗口的内容会重新计算。
- 会话窗口（Session Window）：窗口大小不是固定的，而是根据事件之间的空闲时间（session gap）来动态调整。当一段时间内没有新数据到来时，当前会话窗口关闭，开启新的窗口。
基于计数的窗口（Count-based Window）：窗口大小由元素数量决定，而不是时间。

算子是 Flink 流处理中的基本操作单元。Flink 提供了多种算子，常见的有：

Checkpoint 是 Flink 提供的一种容错机制，用于确保流处理作业在发生故障时能够恢复到一致的状态。Flink 通过周期性地将操作的状态保存到持久化存储中实现。

Flink 的资源管理包括 JobManager 和 TaskManager 的管理，它们负责 Flink 集群的资源调度与分配。

JobManager：是 Flink 的控制中心，负责管理作业的生命周期，调度作业，处理作业的失败恢复等。每个作业只有一个 JobManager。
- 任务提交、作业调度和故障恢复等都是 JobManager 的职责。
- JobManager 配置：
  - jobmanager.rpc.address：指定 JobManager 的主机地址。
  - jobmanager.rpc.port：指定 JobManager 的 RPC 端口。
  - jobmanager.heap.size：指定 JobManager 的堆内存大小。
  - jobmanager.execution.failover-strategy：指定作业失败恢复策略。
TaskManager：是 Flink 的计算单元，负责执行任务并处理数据。TaskManager 是作业的实际执行者。
- TaskManager 中的每个 Task 是一个并行任务，负责处理 Flink 作业中的一个子任务。
- TaskManager 配置：
  - taskmanager.memory.process.size：指定 TaskManager 分配给任务的内存大小。
  - taskmanager.numberOfTaskSlots：指定 TaskManager 上可用的任务槽数（并行度）。
  - taskmanager.rpc.port：TaskManager 的 RPC 端口。
  - taskmanager.network.memory.fraction：指定用于网络缓冲的内存比例。

Flink 的资源管理与作业执行的能力依赖于 JobManager 和 TaskManager 的配置。通常在 Flink 集群模式下，资源管理是由 YARN、Kubernetes 或 Flink 自带的 standalone 模式来完成的。

Flink 支持多种集群部署模式：

TaskManager 和 JobManager 的内存和并行度配置
- 通过 taskmanager.memory.process.size 和 taskmanager.numberOfTaskSlots 来配置 TaskManager 的内存和任务槽数。
- jobmanager.heap.size 和 jobmanager.rpc.address 配置 JobManager 的内存大小和主机地址。
JobManager 的调度策略
- 通过 jobmanager.execution.failover-strategy 来配置作业失败后的恢复策略（如自动重启）。
Checkpoint 配置
- 通过 checkpoint.interval 来配置Checkpoint的周期，state.backend 来指定状态后端。