【Flink】系统架构

在这里插入图片描述

DataStream API 将你的应用构建为一个 job graph,并附加到 StreamExecutionEnvironment 。当调用 env.execute() 时此 graph 就被打包并发送到 JobManager 上,后者对作业并行处理并将其子任务分发给 Task Manager 来执行。每个作业的并行子任务将在 task slot 中执行。

client

Client 不是运行时和程序执行的一部分,而是用于准备数据流并将其发送给 JobManager。

JobManager

JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责:它决定何时调度下一个 task(或一组 task)、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成:

  • ResourceManager

    ResourceManager 负责 Flink 集群中的资源提供、回收、分配 - 它管理 task slots,这是 Flink 集群中资源调度的单位(请参考TaskManagers)。Flink 为不同的环境和资源提供者(例如 YARN、Kubernetes 和 standalone 部署)实现了对应的 ResourceManager。在 standalone 设置中,ResourceManager 只能分配可用 TaskManager 的 slots,而不能自行启动新的 TaskManager。

  • Dispatcher

    Dispatcher 提供了一个 REST 接口,用来提交 Flink 应用程序执行,并为每个提交的作业启动一个新的 JobMaster。它还运行 Flink WebUI 用来提供作业执行信息。

  • JobMaster

    JobMaster是JobManager中最核心的组件,负责处理单独的作业(Job)。所以JobMaster和具体的Job是一一对应的,多个Job可以同时运行在一个Flink集群中, 每个Job都有一个自己的JobMaster。

TaskManagers

TaskManager(也称为 worker)执行作业流的 task,并且缓存和交换数据流。

Flink 运行时由两种类型的进程组成:一个 JobManager 和一个或者多个 TaskManager。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/154630.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023.11.19使用flask制作一个文件夹生成器

2023.11.19使用flask制作一个文件夹生成器 实现功能: (1)在指定路径上建立文件夹 (2)返回文件夹的路径和建立成功与否的提示 main.py import os from flask import Flask, request, jsonify, render_templateapp F…

记录-2023/11/19

自定义权限类 如果你的权限逻辑只涉及到资源对象级别的操作,那么只定义has_object_permission方法就可以,如果同时涉及到资源集合的操作,可以同时定义has_permission方法

C# 代码合集

1. C#在托盘显示图标 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; namespace notifyIconShow { public partial class noti…

文件权限、scp命令

chmod x chmod x 命令用于为文件添加执行权限。但是对于文件夹(目录),你需要结合 chmod x 和 chmod r 来使其可执行和可读。 以下是为目录添加执行和读取权限的命令: chmod rx photo这为“photo”目录的所有者、组和其他用户添…

Docker运行Tomcat报错缓存空间不足

because there was insufficient free space available after evicting expired cache entries - consider increasing the maximum size of the cache 编辑 /opt/tomcat/conf/context.xml 添加 <Resources cachingAllowed"true" cacheMaxSize"100000"…

扒取网站文档-wget

wget命令 wget可以递归的方式下载整站&#xff0c;同时能把下载的页面中的链接转换为本地链接。 用法 wget -r -p -np -k http://xxx.com/xxx 参数&#xff1a; -r, --recursive 递归下载 -k, --convert-links将下载的HTML页面中的链接转换为相对链接即本地链接-p, --page-r…

【外汇天眼】交易之路:从无知到觉醒,揭秘成功交易员的五个成长阶段

世界顶尖交易员的成功背后隐藏的真正秘诀引人瞩目。许多人梦想着像电影中的主角一样&#xff0c;成为一名成功的金融交易员。尽管开设交易账户相对简单&#xff0c;但要达到稳定盈利的境界确实非常不容易。众所周知&#xff0c;在衍生品市场中&#xff0c;有80%甚至90%以上的交…

华为云数据库 RDS 下载全量备份文件 wget

地址下载 wget -O FILE_NAME --no-check-certificate "DOWNLOAD_URL"FILE_NAME&#xff1a;重命名&#xff0c;例如mysql1121.qpDOWNLOAD_URL: 地址下载 参考 华为云数据库 RDS 下载全量备份文件

企业AI虚拟ip形象定制的应用场景

随着AI人工智能和云计算等新技术的不断发展和应用&#xff0c;AI智能数字人已经演化成为了更加智慧的生命体&#xff0c;在服务企业和人类方面有了更高质量&#xff0c;特别是作为品牌形象代言人&#xff0c;通过高逼真模拟人类的外貌、声音和行为&#xff0c;在使得品牌在竞争…

城市交通领域的新趋势:地铁列车可视化

随着城市化进程的不断加速&#xff0c;地铁作为一种便捷、快速的城市交通方式&#xff0c;受到了越来越多人的青睐。地铁列车可视化&#xff0c;作为地铁运营管理中的一项重要工作&#xff0c;不仅可以提高列车运行效率和安全性&#xff0c;还可以为乘客提供更加舒适、便捷的乘…

C 结构体和函数

C 结构体和函数 在本教程中&#xff0c;您将学习将结构变量作为参数传递给函数。您将学习借助示例从函数返回struct的方法。 与内置类型的变量类似&#xff0c;您也可以将结构变量传递给函数。 将结构传递给函数 示例 #include <stdio.h> struct student {char name…

leetcode算法之分治-归并

目录 1.排序数组2.数组中的逆序对3.计算右侧小于当前元素的个数4.翻转对 1.排序数组 排序数组 //分治-归并 class Solution {int tmp[50010]; public:vector<int> sortArray(vector<int>& nums) {mergeSort(nums,0,nums.size()-1);return nums;}void mergeS…

源启容器平台KubeGien 打造云原生转型的破浪之舰

云原生是应用上云的标准路径&#xff0c;也是未来发展大的趋势。如何将业务平滑过渡到云上&#xff1f;怎样应对上云期间的各项挑战呢&#xff1f;中电金信基于金融级数字底座“源启”打造了一款非常稳定可靠、多云异构、安全可控、开放灵活的容器平台产品——源启容器平台Kube…

主播-产品痛点话术

—、用户体验差我们的产品在用户体验方面存在一些问题。首先&#xff0c;产品的操作流程不够顺畅&#xff0c;导致用户在使用过程中经常遇到困扰。另外&#xff0c;我们的产品界面设计不够美观&#xff0c;无法给用户带来愉悦的使用体验。针对这些问题&#xff0c;我们将对产品…

[SWPUCTF 2021 新生赛]fakerandom

分析代码 import random flag xxxxxxxxxxxxxxxxxxxx random.seed(1) l [] for i in range(4):l.append(random.getrandbits(8)) result[] for i in range(len(l)):random.seed(l[i])for n in range(5):result.append(ord(flag[i*5n])^random.getrandbits(8)) print(result) …

Linux ps -ef|grep去除 grep --color=auto信息

linux 监控 进程判断是否启动可通过该指令实现 ps -ef|grep java指令结果为 # -v 参数有过滤作用 ps -ef|grep java |grep -v grep

Unity 头顶图文字性能优化

如图&#xff1a;常规的排版&#xff0c;会有很多Batches。这是优化后的Batches只有3。 常用解决方案&#xff1a; 1、创建两个Canvas&#xff0c;一个放所有文本Text&#xff0c;一个放所有Image。但这里有会有两个问题&#xff1a;一旦文字夹在两个Image中间&#xff0c;还有…

外汇天眼:经济调控之术!升息如何化解通货膨胀的困扰?

为了遏制通货膨胀&#xff0c;美国在过去的一段时间一直持续进行升息。尽管通胀数据的降幅并不迅速&#xff0c;但至少上涨势头得到了抑制。那么&#xff0c;升息为何能够遏制通胀呢&#xff1f;本文将简要探讨这一问题。 通货膨胀的根本原因在于货币供应量过多&#xff0c;也就…

深度学习卫星遥感图像检测与识别 -opencv python 目标检测 计算机竞赛

文章目录 0 前言1 课题背景2 实现效果3 Yolov5算法4 数据处理和训练5 最后 0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; **深度学习卫星遥感图像检测与识别 ** 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐…

每日一练 | 华为认证真题练习Day18

Day18 华为认证中级考试真题 1、PE设备上的配置如下所示&#xff0c;则对于该配置命令的描述&#xff0c;正确的是 A.对端的PE在AS 500内&#xff0c;于本端PE是EBGP邻居关系 B.PE与两个客户网络的CE设备相连&#xff0c;一个是设置为VPN1,另一个设置为VPN3 C.接入PE端的两…