【大数据】Flink 系统架构

Flink 系统架构

  • 1.Flink 组件
    • 1.1 JobManager
    • 1.2 ResourceManager
    • 1.3 TaskManager
    • 1.4 Dispatcher
  • 2.应用部署
    • 2.1 框架模式
    • 2.2 库模式
  • 3.任务执行
  • 4.高可用设置
    • 4.1 TaskManager 故障
    • 4.2 JobManager 故障

Flink 是一个用于状态化并行流处理的分布式系统。它的搭建涉及多个进程,这些进程通常会分布在多台机器上。分布式系统需要应对的常见挑战包括 分配和管理集群计算资源进程协调持久且高可用的数据存储故障恢复 等。

Flink 并没有依靠自身实现所有上述功能,而是在已有集群基础设施和服务之上专注于它的核心功能:分布式数据流处理。Flink 和很多集群管理器(如 Apache Mesos、YARN 及 Kubernetes)都能很好地集成;同时它也可以通过配置,作为独立集群来运行。Flink 没有提供分布式持久化存储,而是利用了现有的分布式文件系统(如 HDFS)或对象存储(如 S3)。它依赖 Apache ZooKeeper 来完成高可用性设置中的领导选举工作。

本篇博客我们将介绍搭建 Flink 时所涉及的不同组件并讨论它们在应用运行时的交互过程。我们主要讨论两类部署 Flink 应用的方式以及它们如何分配和执行任务。最后,我们将解释 Flink 高可用模式的工作原理。

1.Flink 组件

Flink 的搭建需要四个不同组件,它们相互协作,共同执行流式应用。这些组件是:JobManager、ResourceManager、TaskManager 和 Dispatcher。Flink 本身是用 Java 和 Scala 实现的,因此所有组件都基于 Java 虚拟机(JVM)运行。

1.1 JobManager

作为主进程(master process),JobManager 控制着单个应用程序的执行。换句话说,每个应用都由一个不同的 JobManager 掌控。JobManager 可以接收需要执行的应用,该应用会包含一个所谓的 JobGraph,即 逻辑 Dataflow 图,以及一个打包了全部所需类、库以及其他资源的 JAR 文件。JobManager 将 JobGraph 转化成名为 ExecutionGraph物理 Dataflow 图,该图包含了那些可以并行执行的任务。JobManager 从 ResourceManager 申请执行任务的必要资源(TaskManager 处理槽)。一旦它收到了足够数量的 TaskManager 处理槽(slot),就会将 ExecutionGraph 中的任务分发给 TaskManager 来执行。在执行过程中,JobManager 还要负责所有需要集中协调的操作,如创建检查点。

1.2 ResourceManager

针对不同的环境和资源提供者(resource provider)(如 YARN、Mesos、Kubernetes 或独立部署),Flink 提供了不同的ResourceManager。ResourceManager 负责管理 Flink 的处理资源单元:TaskManager 处理槽。当 JobManager 申请 TaskManager 处理槽时,ResourceManager 会指示一个拥有空闲处理槽的 TaskManager 将其处理槽提供给 JobManager。如果 ResourceManager 的处理槽数无法满足 JobManager 的请求,则 ResourceManager 可以和资源提供者通信,让它们提供额外容器来启动更多 TaskManager 进程。同时,ResourceManager 还负责终止空闲的 TaskManager 以释放计算资源。

1.3 TaskManager

TaskManager 是 Flink 的 工作进程worker process)。通常在 Flink 搭建过程中要启动多个 TaskManager。每个 TaskManager 提供一定数量的处理槽。处理槽的数目限制了一个 TaskManager 可执行的任务数。TaskManager 在启动后,会向 ResourceManager 注册 它的处理槽。当接收到 ResourceManager 的指示时,TaskManager 会向 JobManager 提供一个或多个处理槽。之后,JobManager 就可以向处理槽中分配任务来执行。在执行期间,运行同一应用不同任务的 TaskManager 之间会产生数据交换。我们将在稍后进一步讨论任务执行和处理槽的概念。

1.4 Dispatcher

Dispatcher 会跨多个作业运行,它提供了一个 REST 接口来让我们提交需要执行的应用。一旦某个应用提交执行,Dispatcher 会启动一个 JobManager 并将应用转交给它。REST 接口意味着 Dispatcher 这一集群的 HTTP 入口可以受到防火墙的保护。Dispatcher 同时还会启动一个 WebUI,用来提供有关作业执行的信息。某些应用提交执行的方式可能用不到 Dispatcher。

下图展示了应用提交执行过程中 Flink 各组件之间的交互过程。
在这里插入图片描述

上图仅是一个用于展示各组件职责与交互的高层次框架。根据环境的不同(YARN、Mesos、Kubernetes 或独立集群),图中某些步骤其实可以省略,同时也可会有多个组件运行在同一 JVM 进程中。例如:独立集群设置下没有资源提供者,因此 ResourceManager 只能分配现有 TaskManager 中的处理槽而无法自己启动新的 TaskManager。

2.应用部署

Flink应用可以通过两种模式进行部署。

2.1 框架模式

在该模式下,Flink 应用会打包成一个 JAR 文件,通过客户端提交到运行的服务上。这里的服务可以是 Flink Dispatcher,Flink JobManager 或是 YARN 的 ResourceManager。无论哪种情况,运行的服务都会接收 Flink 应用并确保其执行。如果应用提交到 JobManager,会立即开始执行;如果应用提交到 Dispatcher 或 YARN ResourceManager,它们会启动一个 JobManager 并将应用转交给它,随后由 JobManager 负责执行该应用。

2.2 库模式

在该模式下,Flink 应用会绑定到一个特定应用的容器镜像(如 Docker 镜像)中。镜像中还包含着运行 JobManager 以及 ResourceManager 的代码。当容器从镜像启动后会自动加载 ResourceManager 和 JobManager,并将绑定的作业提交执行。另一个和作业无关的镜像负责部署 TaskManager 容器。容器通过镜像启动后会自动运行 TaskManager,后者可以连接 ResourceManager 并注册处理槽。通常情况下,外部资源管理框架(如 Kubernetes)负责启动镜像,并确保在发生故障时容器能够重启。

基于框架的模式采用的是传统方式,即通过客户端提交应用(或查询)到正在运行的服务上;而在库模式中,Flink不是作为服务,而是以库的形式绑定到应用所在的容器镜像中。后者常用于微服务架构。我们会在第10章的“运行和管理流式应用”中详细讨论应用部署的相关内容。

3.任务执行

一个 TaskManager 允许同时执行多个任务。这些任务可以属于同一个算子(数据并行),也可以是不同算子(任务并行),甚至还可以来自不同的应用(作业并行)。TaskManager 通过提供固定数量的处理槽来控制可以并行执行的任务数。每个处理槽可以执行应用的一部分,即算子的一个并行任务。下图展示了 TaskManager、处理槽、任务以及算子之间的关系。
在这里插入图片描述
左侧的 JobGraph(应用的非并行化表示)包含了 5 个算子,其中算子 A 和 C 是数据源,算子 E 是数据汇。算子 C 和 E 的并行度为 2,其余算子的并行度为 4。由于算子最大并行度是 4,因此应用若要执行则至少需要 4 个处理槽。如果每个 TaskManager 内有两个处理槽,则运行两个 TaskManager 即可满足该需求。JobManager 将 JobGraph “展开成” ExecutionGraph 并把任务分配到 4 个空闲处理槽。对于并行度为 4 的算子,其任务会每个处理槽分配一个。其余两个算子 C 和 E 的任务会分别放到处理槽 1.12.1 和处理槽 1.22.2 中。将任务以切片的形式调度至处理槽中有一个好处:TaskManager 中的多个任务可以在同一进程内高效地执行数据交换而无须访问网络。然而,任务过于集中也会使 TaskManager 负载变高,继而可能导致性能下降。

TaskManager 会在同一个 JVM 进程内以多线程的方式执行任务。和独立进程相比,线程更加轻量并且通信开销更低,但无法严格地将任务彼此隔离。因此只要有一个任务运行异常,就有可能 “杀死” 整个 TaskManager 进程,导致它上面运行的所有任务都停止。如果将每个 TaskManager 配置成只有一个处理槽,则可以限制应用在 TaskManager 级别进行隔离,即每个 TaskManager 只运行单个应用的任务。通过在 TaskManager 内部采用线程并行以及在每个主机上部署多个 TaskManager 进程,Flink 为部署应用时性能和资源隔离的取舍提供了极大的自由度。我们会在后续讨论搭建和配置 Flink 集群的详细内容。

4.高可用设置

流式应用通常都会设计成 7 x 24 小时运行,因此对于它很重要的一点是:即便内部进程发生故障时也不能终止运行。为了从故障中恢复,系统首先要 重启故障进程,随后需要 重启应用并恢复其状态。接下来我们将介绍 Flink 如何重启故障进程。而恢复应用状态则会在后续有关 “检查点” 的博客中进行介绍。

4.1 TaskManager 故障

如前所述,为了执行应用的全部任务,Flink 需要足够数量的处理槽。假设一个 Flink 设置包含 4 个 TaskManager,每个 TaskManager 有 2 个处理槽,那么一个流式应用最多支持以并行度 8 来运行。如果有一个 TaskManager 出现故障,则可用处理槽的数量就降到了 6 个。这时候 JobManager 就会向 ResourceManager 申请更多的处理槽。若无法完成(例如应用运行在一个独立集群上),JobManager 将无法重启应用,直至有足够数量的可用处理槽。应用的 重启策略 决定了 JobManager 以何种频率重启应用以及重启尝试之间的等待间隔。

4.2 JobManager 故障

和 TaskManager 相比,JobManager 发生故障会更为棘手。它用于控制流式应用执行以及保存该过程中的元数据(如已完成检查点的存储路径)。如果负责管理的 JobManager 进程消失,流式应用将无法继续处理数据。这就导致 JobManager 成为 Flink 应用中的一个单点失效组件。为了解决该问题,Flink 提供了高可用模式,支持在原 JobManager 消失的情况下将作业的管理职责及元数据迁移到另一个 JobManager。

Flink 中的高可用模式是基于能够提供分布式协调和共识服务的 Apache ZooKeeper 来完成的,它在 Flink 中主要用于 “领导” 选举以及持久且高可用的数据存储。JobManager 在高可用模式下工作时,会将 JobGraph 以及全部所需的元数据(例如应用的 JAR 文件)写入一个 远程持久化存储系统 中。此外,JobManager 还会将存储位置的路径地址写入 ZooKeeper 的数据存储。在应用执行过程中,JobManager 会接收每个任务检查点的 状态句柄存储位置)。在检查点即将完成的时候,如果所有任务已经将各自状态成功写入远程存储,JobManager 就会将状态句柄写入远程存储,并将远程位置的路径地址写入 ZooKeeper。因此所有用于 JobManager 故障恢复的数据都在远程存储上面,而 ZooKeeper 持有这些存储位置的路径
在这里插入图片描述
当 JobManager 发生故障时,其下应用的所有任务都会自动取消。新接手工作的 JobManager 会执行以下步骤:

  • 1️⃣ 向 ZooKeeper 请求存储位置,以获取 JobGraph、JAR 文件及应用最新检查点在远程存储的状态句柄。
  • 2️⃣ 向 ResourceManager 申请处理槽来继续执行应用。
  • 3️⃣ 重启应用并利用最近一次检查点重置任务状态。

如果是在容器环境(如 Kubernetes)中以库模式部署运行应用,容器编排服务orchestration service)通常会自动重启故障的 JobManager 或 TaskManager 容器。当运行在 YARN 或 Mesos 上面时,Flink 的其余进程会触发 JobManager 或 TaskManager 进程重启。Flink 没有针对独立集群模式提供重启故障进程的工具,因此有必要运行一些后备 JobManager 及 TaskManager 来接管故障进程的工作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/644694.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

aop介绍

AOP(Aspect-Oriented Programming,面向方面编程),可以说是OOP(Object-Oriented Programing,面向对象编程)的补充和完善。OOP引入封装、继承和多态性等概念来建立一种对象层次结构,用…

代码随想录算法训练营第14天 | 二叉树的前序、中序、后序遍历(递归+迭代法)

二叉树的理论基础:(二叉树的种类,存储方式,遍历方式 以及二叉树的定义) https://programmercarl.com/%E4%BA%8C%E5%8F%89%E6%A0%91%E7%90%86%E8%AE%BA%E5%9F%BA%E7%A1%80.html 二叉树的递归遍历 Leetcode对应的三道习…

我们应该解决哪些计算机网络中的问题,才能实现进程之间基于网络的通信呢?

ps:本文章的图片内容来源都是来自于湖科大教书匠的视频,声明:仅供自己复习,里面加上了自己的理解 这里附上视频链接地址:1.6 计算机网络体系结构(1)—常见的计算机网络体系结构_哔哩哔哩_bilibi…

what is `ContentCachingRequestWrapper` does?

ContentCachingRequestWrapper 是 Spring Framework 中提供的一种包装类,它扩展了 HttpServletRequestWrapper 类,用于缓存请求体的内容。 通常在处理 HTTP 请求时,原生的 HttpServletRequest 对象中的输入流 (getInputStream()) 只能被读取一…

Java玩转《啊哈算法》排序之桶排序

过去心不可得,现在心不可得,未来心不可得 目录在这里 楔子代码地址桶排序代码核心部分优缺点 完整代码演示 升级版核心代码完整代码演示 楔子 大家好!本人最近看了下《啊哈算法》,写的确实不错,生动形象又有趣&#x…

Optional的使用(代替if判断是否为空)

Optional 前言 我的使用 package yimeng;import com.ruoyi.RuoYiApplication; import com.ruoyi.common.core.domain.entity.SysUser; import org.junit.jupiter.api.Test; import org.springframework.boot.test.context.SpringBootTest; import java.util.*;SpringBootTes…

OpenCV第 2 课 OpenCV 环境搭建

文章目录 第 2 课 OpenCV 环境搭建1.安装 Numpy2.从 Ubuntu 存储库安装 OpenCV3.验证 OpenCV 安装 第 2 课 OpenCV 环境搭建 1.安装 Numpy 每一张图像都有很多个像素点,这也导致了程序中会涉及大量的数组处理。Numpy 是一个 Python 的拓展库,它对多维数…

mysql临时表简述

概述 业务中经常会对一些表进行聚合组装信息,然后筛选,有些表比较数据量大的时候,会对拖慢查询; 常用的mybatis的分页查询,在查询时会先count一下所有数据,然后再limit分页,即使分页也会有深度…

数据分析-Pandas如何用图把数据展示出来

数据分析-Pandas如何用图把数据展示出来 俗话说,一图胜千语,对人类而言一串数据很难立即洞察出什么,但如果展示图就能一眼看出来门道。数据整理后,如何画图,画出好的图在数据分析中成为关键的一环。 数据表&#xff…

「JavaSE」抽象类接口2

🎇个人主页:Ice_Sugar_7 🎇所属专栏:快来卷Java啦 🎇欢迎点赞收藏加关注哦! 抽象类&接口2 🍉接口间的继承🍉接口的应用🍉总结 🍉接口间的继承 和类的继承…

【每日一题】最长交替子数组

文章目录 Tag题目来源解题思路方法一:双层循环方法二:单层循环 写在最后 Tag 【双层循环】【单层循环】【数组】【2024-01-23】 题目来源 2765. 最长交替子数组 解题思路 两个方法,一个是双层循环,一个是单层循环。 方法一&am…

yarn集群HDFS datanode无法启动问题排查

一、问题场景 hdfs无法访问,通过jps命令查看进程,发现namenode启动成功,但是所有datanode都没有启动,重启集群(start-dfs.sh)后仍然一样 二、原因分析 先看下启动的日志有无报错。打开Hadoop的日志目录 …

线程池中线程数量与队列大小参数的如何设置实践-基于QPS的计算公式

目录 概要 传统方式? 线程池理解? 基于QPS的设置思路? 总结? 概要 线程池是个既靠谱但又陌生的家伙, 像管家一样, 会踏踏实实的把你交代的任务完成, 但很死板, 没有自动安排人的能力, 需要你给它配好人手(线程实例)和承载容量(队列大小), 这些参数关系影响业务服务整体…

rabbitmq基础-java-5、Topic交换机

1、简介 Topic类型的Exchange与Direct相比,都是可以根据RoutingKey把消息路由到不同的队列。 只不过Topic类型Exchange可以让队列在绑定BindingKey 的时候使用通配符! BindingKey 一般都是有一个或多个单词组成,多个单词之间以.分割&#x…

使用Python的pygame库实现迷宫游戏

使用Python的pygame库实现迷宫游戏 关于Python中pygame游戏模块的安装使用可见 https://blog.csdn.net/cnds123/article/details/119514520 先给出效果图: 这个游戏能自动生成迷宫布局。 在这个游戏中,玩家将使用键盘箭头键来移动,并且目标…

深入了解达梦数据库的增删查改操作:从入门到精通

目录 前言: 一.达梦数据库的增删改查 1.创建数据库 2.插入数据 3.查看数据 4.删除数据 5.数据 前言: 在当今数字化的时代,数据库已经成为企业和组织的核心资产,是实现高效数据处理、存储和管理的重要工具。达梦数据库&…

测试用例评审流程

1:评审的过程 A:开始前做好如下准备 1、确定需要评审的原因 2、确定进行评审的时机 3、确定参与评审人员 4、明确评审的内容 5、确定评审结束标准 6、提前至少一天将需要评审的内容以邮件的形式发送给评审会议相关人员。并注明详审时间、地点及偿参与人员等。 7、 在邮件中提醒…

科创板交易规则科普

一、交易时间: 交易日的上午9:30-11:30,下午13:00-15:00,其中9:15-9:25是开盘价公布以及竞价的时间,15:05-15:30是盘后固定价格交易时间。 二、买卖原则: 科创板实行T1交易,按照市场实时价格…

Linux运维实战:CentOS7.6操作系统(Shell脚本基础)

文章目录 第19章 Shell脚本基础19.1 Shell基本语法19.1.1 什么是Shell19.1.2 编程语言分类1.低级语言2.高级语言19.1.3 什么是Shell脚本19.2 Shell变量及运用19.2.1 Shell变量1.变量的设置规则如下2.按照变量的作用可以分成以下4类3.按照变量的作用域可以把变量分成两类:…

音乐证书通过率发布,市场对持有者需求旺盛

音乐证书的考试难度备受关注,通过率终于揭晓。据官方公布的数据,该证书的通过率相对较低,需要考生在音乐技能和表现方面有出色的表现。然而,持有音乐证书的人才在市场上需求旺盛,各种音乐机构和企业对其表现出强烈兴趣…