Flink基本原理 + WebUI说明 + 常见问题分析

Flink 概述

Flink 是一个用于进行大规模数据处理的开源框架，它提供了一个流式的数据处理 API，支持多种编程语言和运行时环境。Flink 的核心优点包括：

  1. 低延迟：Flink 可以在毫秒级的时间内处理数据，提供了低延迟的数据处理能力。
  2. 高吞吐：吞吐量巨大。
  3. 分布式计算：Flink 支持分布式计算，它可以在大规模集群上运行，并提供了高可用和容错机制。
  4. 流式数据处理：Flink 基于流式数据处理模型，支持实时数据处理和数据增量更新。
  5. 事件驱动：Flink 的计算引擎是基于事件驱动的，它使用消息传递机制来处理数据。

Flink 的数据处理流程

Flink 的数据处理流程包括以下几个步骤：

  1. 数据输入：Flink 可以从各种数据源中读取数据，如 Kafka、HDFS 等。
  2. 数据转换：Flink 可以使用 DataStream API 或 SQL API 对数据进行转换和处理。
  3. 数据分区：Flink 可以根据数据的属性或规则对数据进行分区，以便在分布式集群上进行处理。
  4. 数据传输：Flink 可以使用网络传输机制将数据传输到其他节点或进程。
  5. 数据输出：Flink 可以将处理后的数据写入到各种数据存储中，如 Kafka、HDFS 等。

Flink架构解析

Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。
[图片]

JobManager

类似于司令官，分配工作给干活的士兵（TaskManager），听取士兵的汇报，当士兵失败时做出恢复等反应。
JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成：

  • ResourceManager
  • ResourceManager 负责 Flink 集群中的资源提供、回收、分配 - 它管理 task slots，这是 Flink 集群中资源调度的基本单位。
  • Dispatcher
  • Dispatcher 提供了一个 REST 接口，用来提交 Flink 应用程序执行，并为每一个提交的作业启动一个新的 JobMaster。它还运行 Flink WebUI 用来提供作业执行信息。
  • JobMaster
  • 1个JobMaster 负责管理1个JobGraph的执行。Flink 集群中可以同时运行多个作业，每个作业都有自己的 JobMaster。
    始终至少有一个 JobManager。高可用（HA）设置中可能有多个 JobManager，其中一个始终是 leader，其他的则是 standby（请参考 高可用（HA））。

TaskManager

TaskManager（也称为 worker）：执行JobManager分配过来的任务，并向JobManager汇报。taskManager之间也会交换数据
TaskManager中会有一到多个task slot, task slot是资源调度的最小单位， task slot 的数量表示并发处理task的数量。假设1个task有N个算子，那么执行这个task的slot 就会执行N个算子（直到结束）。

Client

Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。

Task和算子(Operator)

非分布式场景

在这里插入图片描述
假设程序目前需要依次经过以下算子：source->map->keyBy->window->apply->Sink，如果每个算子都用1个线程执行的话，一共有多达6个线程，不仅导致线程间切换、缓冲数据会有不小的开销，还降低了吞吐量。
为降低线程切换、缓冲的开销，Flink会把可以在同一个线程中执行的算子，链在一起，我们管他叫“算子链”。如图有3个算子链：source+map是1个算子链，keyBy+window+apply是1个算子链，sink是一个。每个算子链会由1个Task来执行。
统计下数量：共有3个Task，会占用3个Task Slot执行。
线程数从6缩减成3个，降低了线程间切换、缓冲数据的开销。
把哪些算子“链”在一起，是可以配置的。

分布式场景

[图片]

分布式场景下，工作会有多个taskManager共同完成工作。如图所示，当前并行度为2.
统计下数量：共有5个Task，每个Task会被分配到1个Task Slot上执行，所以会占用5个Slot。
所以Task Slot的数量，决定了可以并行执行多少个Task。

Task Slots 和资源

1个TaskManager下的task slots共享CPU资源，但内存会分开。
1个TaskManager都是一个 JVM 进程，这导致TaskManager下的slot会共享TCP连接和心跳信息。

Task Slot共享解决阻塞问题

继续上面的例子，1个Task被分配到1个Slot中：
[图片]

这样会有1个问题：只有Source\Map拿到数据后，keyBy操作才能开始处理，这会导致keyBy所在算子有可能空闲。
为解决这样一个问题，Flink使用了Slot共享：slot被多个Task共享，如下图：
[图片]

通过Slot共享，将示例中的基本并行度从 2 个增加到 6 个，让每个Slot都可以执行Source算子，这样Source所在的Slot就不会阻塞别的Slot了。这样可以充分利用Slot的资源，同时确保繁重的Task们在 TaskManager 之间公平分配。

小总结：

1. Flink通过将多个算子链在一起，减少了线程之间的切换开销
2. 将任务分配到多个TaskManager上，提高了处理的速度
3. 最后通过Slot共享，确保Slot之间不会阻塞，充分让Slot忙碌起来。

WebUI界面+常见问题排查思路

通过Web UI，可以看到TaskManager、Slot的数量用于速度调优，也可以查看日志用于问题排查。
Flink的Web UI界面的地址是http://localhost:8081，其中localhost是JobManager的主机地址，8081是JobManager的Web UI端口号。在浏览器中输入这个地址，就可以访问Flink的Web UI界面了。

集群概览：查看任务是否正常运行、资源是否需要扩容
[图片]

点击1个Job查看Job详情：
在这里插入图片描述

点击1个算子查看算子详情：查看数据倾斜、反压等性能问题
[图片]

TaskManager：可以查看TaskManager的日志排查问题，注意蛋疼的是问题不一定出现在哪个TaskManager上。
[图片]

JobManager：
[图片]

Flink 的容错机制

Flink 的容错机制是通过 Checkpointing 实现的。Checkpointing 允许用户在处理流式数据时定期保存状态，以便在出现故障时恢复状态。Flink 的容错机制包括以下几个步骤：

  1. 定义 Checkpointing 策略：用户需要定义 Checkpointing 的频率和保存状态的位置。
  2. 触发 Checkpointing：在处理数据时，Flink 会根据定义的 Checkpointing 策略触发 Checkpointing。
  3. 恢复状态：在出现故障时，Flink 会根据保存的 Checkpointing 恢复状态。

Flink 的应用场景

Flink 可以应用于多种场景，如：

  1. 实时数据处理：Flink 可以用于实时数据处理，如实时监控、实时分析等。
  2. 数据清洗：Flink 可以用于数据清洗，如数据去重、数据清洗等。
  3. 数据分析：Flink 可以用于数据分析，如数据统计、数据挖掘等。
  4. 数据集成：Flink 可以用于数据集成，如数据同步、数据迁移等。

Flink常见算子

Flink 的常见算子包括：

  1. Source：从上游收集数据
  2. Sink：发送数据给下游
  3. Map：对输入数据进行转换操作，如数据清洗、数据格式化等。
  4. FlatMap：对输入数据进行扁平化操作，将一个数据项转换为多个数据项。
  5. Filter：对输入数据进行筛选操作，只保留符合条件的数据项。
  6. KeyBy：对输入数据进行分组操作，根据指定的键对数据进行分组。
  7. Reduce：对输入数据进行聚合操作，将多个数据项聚合为一个数据项。
  8. Window：对输入数据进行窗口操作，将数据按照指定的窗口大小进行分组。
  9. Union：对多个输入数据进行合并操作，将多个数据集合并为一个数据集。
  10. Split：对输入数据进行分裂操作，将一个数据集分裂为多个数据集。
  11. Join：对多个输入数据进行连接操作，将多个数据集按照指定的键进行连接。
  12. SQL：对输入数据进行 SQL 查询操作，使用 SQL 语句对数据进行查询和分析。
    这些算子可以组合使用，以实现更复杂的数据处理逻辑。

总结

Flink 是一个用于进行大规模数据处理的开源框架，它提供了一个流式的数据处理 API，支持多种编程语言和运行时环境。Flink 的核心特点包括流式数据处理、事件驱动、分布式计算、低延迟等。Flink 的核心组件包括 DataStream API、SQL API、Stateful Stream Processing、Checkpointing 等。Flink 的数据处理流程包括数据输入、数据转换、数据分区、数据传输、数据输出等。Flink 的状态管理是通过 Stateful Stream Processing 实现的，它允许用户在处理流式数据时维护状态。Flink 的容错机制是通过 Checkpointing 实现的，它允许用户在处理流式数据时定期保存状态，以便在出现故障时恢复状态。Flink 可以应用于多种场景，如实时数据处理、数据清洗、数据分析、数据集成等。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/723653.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

证件照制作繁琐？学会这三招轻松制作专业级证件照！

证件照制作繁琐？学会这三招轻松制作专业级证件照！

朋友们，您是否曾经为了办理各种证件、报名考试或者求职简历中的证件照而烦恼呢？是否希望能在家就能便捷高效地制作出符合规格的专业证件照？今天我将为大家推荐三款国内外备受好评的证件照处理工具，让您随时随地拥有完美证件照&…
阅读更多...
【prompt四】Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains

【prompt四】Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains

motivation 领域泛化(DG)是一个复杂的迁移学习问题，旨在学习未知领域的可泛化模型。最近的基础模型(FMs)对许多分布变化都具有鲁棒性，因此，应该从本质上提高DG的性能。在这项工作中，我们研究了采用视觉语言基础模型CLIP来解决图像分类中的DG问题的通用方法。虽然ERM使用标…
阅读更多...
音视频开发之旅——音频基础概念、交叉编译原理和实践（LAME的交叉编译）（Android）

音视频开发之旅——音频基础概念、交叉编译原理和实践（LAME的交叉编译）（Android）

本文主要讲解的是音频基础概念、交叉编译原理和实践（LAME的交叉编译），是基于Android平台，示例代码如下所示： AndroidAudioDemo 音频基础概念 在进行音频开发的之前，了解声学的基础还是很有必要的。 声音…
阅读更多...
K线实战分析系列之二十二：圆形顶部和圆形底部形态

K线实战分析系列之二十二：圆形顶部和圆形底部形态

K线实战分析系列之二十二：圆形顶部和圆形底部形态 一、圆形顶部形态二、圆形顶部和圆形底部形态的总结 一、圆形顶部形态 市场多空一方被逐渐击退，跳空的缺口是一方突然发力，体现出一方对市场掌握了控制权 二、圆形顶部和圆形底部形态的总结…
阅读更多...
IDEA切换JDK版本超详细步骤

IDEA切换JDK版本超详细步骤

😀 IDEA切换JDK版本详细教程，全网步骤最详细，实测可用。 文章目录 第一步、选择SDKs切换SDK版本：第二步、选择Modules切换Sources和Dependencies版本：第三步、选择Project切换SDK和Language Level版本：第四…
阅读更多...
2024年冲刺年薪40w，java面试常问知识点

2024年冲刺年薪40w，java面试常问知识点

前言 刚刚过去的双十一，让“高性能”“高可用”“亿级”这3个词变成了技术热点词汇，也让很多人再次萌发成为「架构师」的想法。先问大家一个问题：你觉得把代码熟练、完成需求加上点勤奋，就能成为架构师么？如果你这么认…
阅读更多...
MySQL：索引的优化方法

MySQL：索引的优化方法

索引是帮助存储引擎快速获取数据的一种数据结构，形象的说就是索引是数据的目录。 索引创建的时机： 索引并不是越多越好的，虽然他再查询时会提高效率，但是保存索引和维护索引也需要一定的空间和时间成本的。 不创建索引&#xff1a…
阅读更多...
从一个word里面复制表格到另一个word时，表格变形的问题

从一个word里面复制表格到另一个word时，表格变形的问题

复制过来保留源格式，检查段落、页边距里面的格式都和原始word一致后，仍然表格变形。 这时点页边距-自定义页边距-文档网格 看字符数是不是一致的
阅读更多...
【Logback】Logback 中的 Appenders

【Logback】Logback 中的 Appenders

目录 1、什么是 Appenders？ 2、解说 AppenderBase.doAppend() 方法 3、logback-core 模块中的 Appenders （1）OutputStreamAppender （2）ConsoleAppender （3）FileAppender （4&a…
阅读更多...
SpringCloud微服务-DockerCompose（初识、安装、部署）

SpringCloud微服务-DockerCompose（初识、安装、部署）

DockerCompose（初识、安装、部署） 文章目录 DockerCompose（初识、安装、部署）初识DockerCompose？DockerCompose安装DockerCompose部署微服务问题解决（重要！！！&#xff09…
阅读更多...
小白跟做江科大51单片机之DS1302按键可调时钟

小白跟做江科大51单片机之DS1302按键可调时钟

1.引入上一个程序的代码 2.引入Key和Timer0文件 3.获取按键值 定义全局变量unsigned char keynum main函数中 keynumKey(); 4.设置第一个按键的两种模式，以此来控制时钟的设定和显示 if(keynum1) { if(MODE0) { …
阅读更多...
c++ primer学习笔记（二）

c++ primer学习笔记（二）

目录 第三章 一、命名空间的using声明 二、标准库的string类型 1、string对象的定义和初始化 2、string对象的读写 3、string对象的操作 4、string对象中字符的处理 三、标准库的vector类型 1、vector对象的定义和初始化 2、vector对象的操作 四、迭代器简介 1、简…
阅读更多...
前端复选框问题-节点赋值未选中最后显示时确变成选中状态？

前端复选框问题-节点赋值未选中最后显示时确变成选中状态？

问题&#xff1a; 前两天一同事请教我&#xff1a;前端复选框问题-节点赋值未选中最后显示时确变成选中状态&#xff1f; 还有就是明明传过为的是false&#xff0c;在控制台上打印确变成选中状态&#xff0c;如下图&#xff1a; 以下是前端vue代码&#xff1a; <Scroll h…
阅读更多...
CentoS迁移好帮手——银河麒麟服务器迁移运维管理平台最新介绍

CentoS迁移好帮手——银河麒麟服务器迁移运维管理平台最新介绍

•银河麒麟服务器迁移运维管理平台&#xff0c;面向大规模、集群式的服务器主机管理场景&#xff1b; •跨多种环境、高可用与分布式部署、配置管理、漏洞修复、服务包升级、CentoS迁移等多种核心运维场景解决方案&#xff1b; •CPU架构同源支持&#xff0c;兼容Intel、 海光…
阅读更多...
Linux下下载安装JDK配置Java环境变量

Linux下下载安装JDK配置Java环境变量

Linux下下载安装JDK配置Java环境变量 1. 下载JDK 下载链接&#xff1a;(https://www.oracle.com/java/technologies/javase/jdk17-archive-downloads.html) 2. 上传至服务器并解压 可通过shell工具进行上传&#xff0c;我这里是上传安装在/opt目录 解压jdk-17.0.10_linux-x64_b…
阅读更多...
C++之关联式容器set和map的使用

C++之关联式容器set和map的使用

目录 1、set的使用​编辑 1、初始化 2、遍历 3、查找​编辑 4、插入​编辑 5、不支持修改与下标 2、map的使用 1、初始化​编辑 2、遍历 3、map的下标(重点) #include <iostream> #include <vector> #include <set> #include <map> #include…
阅读更多...
2023预测误差位平面冗余-RDHEI Based on Bit-Plane

2023预测误差位平面冗余-RDHEI Based on Bit-Plane

RRBE 本文仅供学习&#xff0c;切勿转载和搬运&#xff0c;如有侵权&#xff0c;联系立删~ 一、背景知识 The Gradient-Adjusted Predictor&#xff08;GAP&#xff0c;梯度调整预测器&#xff09; 根据被预测像素周围的七个像素进行预测 具体流程可参考文献X. Wu and N. M…
阅读更多...
selenium4的相对定位

selenium4的相对定位

selenium4相对定位 Selenium 4新增了相对定位器&#xff0c;能帮助用户查找元素附近的其他元素。可用的相对定位器有above、below、toLeftOf、toRightOf、near。在Selenium 4中&#xff0c;find_element方法能够接受一个新方法withTagName&#xff0c;它将返回一个RelativeLoca…
阅读更多...
项目管理必备的五张图表，助力你高效掌控全局

项目管理必备的五张图表，助力你高效掌控全局

在项目管理中&#xff0c;图表作为一种直观的工具&#xff0c;帮助项目经理更有效的规划、监控和控制项目的各个方面&#xff0c;以下是项目经理常用的几张图表&#xff0c;它们在项目管理中发挥着至关重要的作用。 1、甘特图 甘特图&#xff08;Gantt Chart&#xff09;是最…
阅读更多...
C语言——oj刷题——猜数字游戏

C语言——oj刷题——猜数字游戏

当用C语言来实现猜数字游戏时&#xff0c;我们可以设计一个简单的游戏规则&#xff1a;计算机随机生成一个1到100之间的整数&#xff0c;玩家需要通过猜测来猜出这个数字。游戏会根据玩家猜测的数字与目标数字的大小关系给出提示&#xff0c;直到玩家猜中为止。 下面是一个用C…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023