2024-02-29(Flink)

1.Flink原理(角色分工)

2.Flink执行流程

on yarn版:

3.相关概念

1)DataFlow:Flink程序在执行的时候会被映射成一个数据流模型;
2)Operator:数据流模型中的每一个操作被称作Operator,Operator分为:Source,Transform,Sink;
3)Partition:数据流模型是分布式和并行的,执行中会形成1-n个分区
4)Subtask:多个分区任务可以并行,每一个都是独立运行在一个线程中的,也就是一个SubTask子任务;
5)Parallelism:并行度,就是可以同时真正执行的子任务数/分区数。

6)Operator传递模式
6-1)One to One模式:两个operator用此模式传递的时候,会保持数据的分区数和数据的排序(类似于spark中的窄依赖),多个one to one 的operator可以合并为一个operator chain。

6-2)Redistributing模式:此模式会改变数据的分区数(类似于Spark中的宽依赖
7)TaskSlot and Slot Sharing
7-1)TaskSlot(任务槽)

每个TaskManager是一个JVM进程,为了控制一个TaskManager(worker)能接收多少task,Flink通过Task slot来进行控制。TaskSlot数量是用来限制一个TaskManager工作进程中可以同时运行多少个工作线程,TaskSlot是一个TaskManager中的最小资源分配单位,一个TaskManager中有多少个TaskSlot就意味着能支持多少并发的Task处理。

7-2)Slot Sharing(槽共享)

前面的Task Slot跑完一些线程任务之后,Task Slot可以给其他线程任务使用,这就是槽共享,这样的好处是可以避免线程的重复创建和销毁。

8)ExecutionGraph(Flink执行图)

解释上图:

流程化)StreamGraph:最初的程序执行逻辑,也就是算子之间的前后顺序 ---- 在Client上生成

优化合并)JobGraph:将One to One的Operator合并为OperatorChain ---- 在Client上生成

并行化)ExecutionGraph:将JobGraph根据代码中设置的并行度和请求的资源进行并行化规划 ---- 在JobManager上生成

将任务分配给具体的TaskSlot执行---落实执行线程化)物理执行图:将ExecutionGraph的并行计划,落实到具体的TaskManager上,将具体的SubTask落实到具体的TaskSlot内进行运行。

4.Flink流批一体API

前置知识:

{

Flink把流分为:

有边界的流(bounded Stream):批数据

无边界的流(unbounded Steam):真正的流数据

流计算和批计算对比:

数据时效性:流式计算实时,批计算非实时,高延迟;

数据特征不同:流式计算的数据一般是动态的,没有边界的,而批处理的数据一般则是静态数据。

应用场景不同:流式计算应用在实时场景,时效性要求比较高的场景,如实时推荐,业务监控等,批处理应用在实时性要求不高,离线计算的场景下,数据分析,离线报表等。

运行方式不同:流式计算的任务持续进行的,批量计算的任务则一次性完成。

}

4-1)Source(数据从哪来)

File-based基于文件:

env.readTextFile(本地/HDFS文件/文件夹);

Socket-based基于Socket连接:

env.socketTextStream(主机名,端口号);

Collection-based基于集合:

env.fromElemnts();
env.fromCollection();
env.generateSequence();
env.fromSequence();

Custom自定义:

Flink还提供了数据源接口,我们实现了这些接口就可以实现自定义数据源获取数据,不同接口有不同的功能,接口如下:

SourceFunction:非并行数据源(并行度=1)

RichSourceFunction:多功能非并行数据源(并行度=1)

ParallelSourceFunction:并行数据源(并行度可以 > 1)

RichParallelSourceFunction:多功能并行数据源(并行度可以 > 1)--- kafka数据源就使用该接口

---------------------------------------------------------------------------------------------------------------------------------

4-2)Transformation(数据做怎样的操作处理)

Transformation基本操作

map:j将函数作用在集合中的每一个元素上,并返回作用后的结果。

flat Map:将集合中的每个元素变成一个或者多个元素,并返回扁平化之后的结果

keyBy:按照指定的key来对流中的数据进行分组。注意:流中没有groupBy,而是keyBy

filter:按照指定的条件对集合中的元素进行过滤,过滤出返回true/符合条件的元素

sum:按照指定的字段对集合中的元素进行求和

reduce:对集合中的元素进行聚合

Transformation合并和拆分:

union:union算子可以合并多个同类型的数据流,并生成同类型的数据流,即可以将多个DataStream[T]合并成为一个新的DataStream[T]。数据按照先进先出FIFO的模式合并。

connect:

和union类似,用来连接两个数据流,区别在于:connect只可以连接两个数据流,union可以连接多个;connect所连接的两个数据流的数据类型可以不一样,unions所连接的两个数据流的数据类型必须一样

split(已废除),select,side output:

split就是将一个流分成多个流;

select就是获取分流后对应的数据;

side output:可以使用process方法对流中的数据进行处理,并针对不同的处理结果将数据收集到不同的OuputTag中。

rebalance(重平衡分区):

类似于Spark中的repartition算子,功能更强,可以直接解决数据倾斜(Flink也有数据倾斜的情况,如下图),在内部使用round robin方法将数据均匀打散。

其他分区API:

dataStream.global();   全部发往第一个Task
dataStream.broadcast();   广播
dataStream.forward();   上下游并发度一样时一对一发送
dataStream.shuffle();   随即均匀分配
dataStream.rebalance();   轮流分配
dataStream.recale();   本地轮流分配
dataStream.partitionCustom();   自定义单播

-------------------------------------------------------------------------------------------------------------------------------- 

4-3)Sink(数据做怎样的输出)

基于控制台和文件的Sink

ds.print(); 直接输出到控制台

ds.printErr(); 直接输出到控制台,用红色

ds.writeAsText().setParallelism(); 以多少并行度输出到某个文件路径 

自定义的Sink

--------------------------------------------------------------------------------------------------------------------------------

4-4)Connectors(连接外部的工具)

Connectors-JDBC

Flink内已经提供了一些绑定的Connector,例如Kafka source和sink,Es sink等。读写Kafka,es,rabiitMQ时可以直接使用相应的connector的API就可以了。

同样Flink内也提供了专门操作redis的RedisSink。查询接口文档使用就行了。

5.Flink高级API

Flink四大基石

Flink流行的原因,就是这四大基石:CheckPoint,State,Time,Window。

a.Flink-Windows操作

使用场景:在流式处理中,数据是源源不断的,有时候我们需要做一些聚合类的处理。例如,在过去一分钟内有多少用户点击了网页。此时我们可以定义一个窗口/window,用来收集1分钟内的数据,并对这个窗口内的数据进行计算。

Flink支持按照

(用的多)时间time:每xx分钟统计最近xx分钟的数据

数量count:每xx个数据统计最近xx个数据

两种类型的窗口形式

按照窗口的形式进行组合有四种窗口:

基于时间的滑动窗口,基于时间的滚动窗口,基于数量的滑动窗口,基于数量的滚动窗口。

---------------------------------------------------------------------------------------------------------------------------------

b.Flink-Time和Watermark

在Flink的流式处理中,会涉及到时间的不同概念

事件时间EventTime:事件真真正正发生/产生的时间(重点关注事件时间)

摄入时间IngestionTime:事件到达Flink的事件

处理时间ProcessingTime:事件真正被处理/计算的时间

事件时间能够真正反映/代表事件的本质!所以一般在实际开发中会以事件时间作为计算标准

总结

        实际开发中我们希望基于事件时间来处理数据,但因为数据可能因为网络延迟等原因,出现了乱序或延迟到达,那么可能处理的结果不是我们想要的甚至出现数据丢失的情况,所以需要一种机制来解决一定程度上的数据乱序或延迟到底的问题!也就是Watermaker水印机制/水位线机制

什么是Watermark?

就是给数据额外的加的一个时间列,也就是个时间戳。

Watermark = 当前窗口的最大事件事件 - 最大允许的延迟时间或者乱序时间

这样可以保证Watermaker水位线会一直上升(变大),不会下降。

Watermark的作用:用来触发窗口计算,通过改变触发窗口计算的时机,从而在一定程度上解决数据乱序的问题

---------------------------------------------------------------------------------------------------------------------------------

c.Fink-状态管理

Flink支持状态的自动管理。在绝大多数情况下使用Flink提供的自动管理就行了,极少数使用手动的状态管理。

无状态计算是什么意思:就是不需要考虑历史的数据,相同的输入得到相同的输出。

有状态计算(Flink有自动状态管理了,就少手动去维护状态管理了吧)就是要考虑历史的数据,相同而输入不一定得到相同的输出。

---------------------------------------------------------------------------------------------------------------------------------

d.Flink-容错机制

State和CheckPoint的区别:

State

维护/存储的是某一个Operator的运行的状态/历史值,是维护在内存中!

一般指一个具体的Operator的状态(operator的状态表示一些算子在运行的过程中会产生的一些历史结果如前面的maxBy底层会维护当前的最大值,也就是会维护一个keyedOperator,这个State里面存放就是maxBy这个Operator中的最大值)

CheckPoint

某一时刻,Flink中所有的Operator的当前State的全局快照,一般存在磁盘上(一般放HDFS上)。

表示了一个Flink Job在一个特定时刻的一份全局状态快照,即包含了所有Operator的状态可以理解为Checkpoint是把State数据定时持久化存储了。

比如KafkaConsumer算子中维护的Offset状态,当任务重新恢复的时候可以从Checkpoint中获取。

6.状态恢复和重启策略

重启策略分类:

默认重启策略:配置了Checkpoint的情况下不做任务配置,默认是无限重启并自动恢复,可以解决小问题,但是可能会隐藏掉真正的bug。

无重启策略:使用API配置不重启即可。

固定延迟重启策略(开发中使用):调用API,配置固定时间or多少次数重启

失败率重启策略(开发偶尔使用):调用API,可以选择每个测量阶段内最大失败次数;失败率测量的时间间隔;两次连续重启的时间间隔来重启。

7.SavePoint(本质就是手动的CheckPoint)

实际开发中,如果要对集群进行停机维护/扩容,这个时候需要执行一次SavePoint,也就是执行一次手动的CheckPoint,那么这样的话,程序所有的状态都会被执行快照并保存。当扩容/维护完毕后,可以从上一次的checkpoint的目录中恢复。

8.Flink Table API 和 SQL(重点)

和Hive,Spark SQL一样,Flink也选择用SQL语言来进行业务程序的编写,为什么?

因为Java,Scala等开发语言难度较高,SQL语言简单,能迅速上手,因此Flink也是将Flink Table API & SQL作为未来的核心API。

Flink Table API & SQL的特点:

声明式 --- 用户只关心做什么,不用关心怎么去做

高性能 --- 支持查询优化,可以获取更好的执行性能

流批统一 --- 相同的统计逻辑,既可以支持流模式运行,也可以支持批模式运行

标准稳定 --- 语音遵循SQL标准,不易变动

易理解 --- 语义明确,所见即所得

9.动态表和连续查询

动态表:就是源源不断地数据不断地添加到表的末尾

连续查询:连续查询需要借助state状态管理

10.Spark vs Flink

1)应用场景

Spark主要做离线批处理,对延时要求不高的实时处理(微批)

Flink主要用于实时处理,Flink 1.12支持流批一体

2)API上

Spark:RDD(不推荐)/ DSteam(不推荐)/  DataFrame和DataSet

Flink:DataSet(软弃用)和DataSteam / Tabel API & SQL

3)核心角色和原理

Spark:

Flink:

4)时间机制

Spark:SparkSteaming只支持处理时间,StructuredSteaming开始支持事件时间

Flink:直接支持事件时间/处理时间/摄入时间

5)容错机制

Spark:缓存/ 持久化+ checkpoint(应用级别)

Flink:State + CheckPoint(Operator级别,颗粒度更小) + 自动重启策略 + SavePoint

6)窗口

Spark中支持时间,数量的滑动和滚动窗口,要求windowDuration和SlideDuration必须是batchDuration的倍数

Flink中的窗口机制更加灵活/功能更多,支持基于时间/数量的滑动/滚动 和 会话窗口

Flink保姆级教程,超全五万字,学习与面试收藏这一篇就够了_flink 教程-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/710706.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot 高级实践探索:深度解读与实战演练

随着开发者对Spring Boot框架的基础运用日渐娴熟,迈向更深层次的技术探究和应用场景拓展显得尤为重要。本文将带领读者深入研究Spring Boot的若干核心进阶特性,并结合实际项目案例,涵盖自动化测试策略的深化应用、高级配置管理机制的巧妙运用…

Redis 之四:Redis 事务和乐观锁

事务特点 Redis 事务可以一次执行多个命令, 并且带有以下三个重要的保证: 批量操作在发送 EXEC 命令前被放入队列缓存。 收到 EXEC 命令后进入事务执行,事务中任意命令执行失败,其余的命令依然被执行。不具备原子性。 在事务执…

通讯录——C语言实现

头文件Contact.h #define _CRT_SECURE_NO_WARNINGS #include<stdio.h> #include<string.h> #include<stdlib.h> #pragma once #define MAX 100 #define MAX_NAME 20 #define MAX_SEX 5 #define MAX_TELE 12 #define MAX_ADDR 30//表示一个人的信息 //struct…

npm使用国内淘宝镜像的方法整理

命令配置安装&#xff1a; 淘宝镜像&#xff1a; npm config set registry https://registry.npm.taobao.org/ 官方镜像&#xff1a; npm config set registry https://registry.npmjs.org 通过cnpm安装&#xff1a; npm install -g cnpm --registryhttps://registry.npm.…

PTA L2-003 月饼 (附坑点说明)

月饼是中国人在中秋佳节时吃的一种传统食品&#xff0c;不同地区有许多不同风味的月饼。现给定所有种类月饼的库存量、总售价、以及市场的最大需求量&#xff0c;请你计算可以获得的最大收益是多少。 注意&#xff1a;销售时允许取出一部分库存。样例给出的情形是这样的&#…

如何在Java中反转字符串?

目录 1. 使用StringBuilder的reverse方法&#xff1a; 2. 使用for循环和字符数组&#xff1a; 3. 使用递归&#xff1a; 4. 使用Java 8的Stream API&#xff1a; More Java中&#xff0c;反转字符串可以通过多种方式实现。以下是一些常见的方法&#xff1a; 1. Java中使用…

【Python】PyGameUI控件

哈里前段时间写了一个windows平板上自娱自乐&#xff08;春节和家人一起玩&#xff09;基于pygame的大富翁游戏。 pygame没有按钮之类的UI控件&#xff0c;写起来不怎么顺手。就自己写一个简单的框架。 仓库地址 哈里PygameUi: pygame ui封装自用 (gitee.com) 使用示例 示…

上海亚商投顾:沪指终结月线6连阴 北向资金净买入超160亿

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 一.市场情绪 三大指数昨日低开高走&#xff0c;沪指重新站上3000点&#xff0c;深成指、创业板指大涨超3%。半导体产业链全…

实时聊天系统PHP

实时聊天系统可以让用户在网站上实时交流&#xff0c;这对社交平台、在线客服等网站非常有帮助。以下是一个简单的基于 PHP 和 WebSocket 的实时聊天系统示例&#xff1a; 1. 首先创建一个 HTML 文件 index.html 来显示聊天界面和发送消息的表单&#xff1a; html <!DOCTYP…

【C#】 List.Sort 方法

【C#】 List.Sort 方法 在C#中&#xff0c;List.Sort()不仅为系统自带的变量(int, float, double …)类型的集合提供默认排序&#xff0c;还提供了自定义的排序方法。 List自带排序 List<int> list new List<int>(); list.Add(5); list.Add(3); list.Add(4); l…

探索那些能唤起情感共鸣的壁纸

1、方小童在线工具集 网址&#xff1a; 方小童 该网站是一款在线工具集合的网站&#xff0c;目前包含PDF文件在线转换、随机生成美女图片、精美壁纸、电子书搜索等功能&#xff0c;喜欢的可以赶紧去试试&#xff01;

Python:关于数据服务中的Web API的设计

搭建类似joinquant、tushare类似的私有数据服务应用&#xff0c;有以下一些点需要注意&#xff1a; 需要说明的是&#xff0c;这里讨论的是web api前后端&#xff0c;当然还有其它方案&#xff0c;thrift&#xff0c;grpc等。因为要考虑到一鱼两吃&#xff0c;本文只探讨web ap…

高项软考电子版论文答题纸(附下载)

24年软考又要来了&#xff0c;作为高项软考的拦路虎&#xff0c;论文你准备好了吗&#xff1f;&#xff01;记住在开始考试之前一定要用论文答题纸上把准备好的论文&#xff0c;在规定的时间内写上几遍&#xff0c;一是现在很少动笔写字了。二是、熟悉一下论文考试的感觉。 准备…

UniApp Vue 3 中的网络请求封装详解及用法

在UniApp中&#xff0c;结合Vue 3的强大特性&#xff0c;进行网络请求的封装是项目中常见的需求。这样的封装不仅提高了代码的可维护性&#xff0c;还使得在组件中使用网络请求更加简洁。本文将详细介绍UniApp Vue 3中的网络请求封装&#xff0c;并提供一个简单的用法示例。 1…

索引使用规则4——覆盖索引回表查询

覆盖索引&#xff1a;查询使用了索引&#xff0c;并且需要返回的列&#xff0c;在索引里面都可以找到&#xff0c;减少select*的使用 1、using index condition Extra 为using index condition 表明查找使用了索引&#xff0c;但是需要回表查询&#xff08;也就是先二级索引&…

第十八届全国大学生智能汽车竞赛——摄像头算法(附带个人经验)

文章目录 前言一、摄像头图像处理1、摄像头图像采集2、图像二值化与大津算法 二、左右边界&#xff0c;中线扫描 前言 参加了第十六&#xff0c;十七和第十八届全国大学生智能车竞赛&#xff0c;对摄像头的学习有部分心得&#xff0c;分享给大家&#xff0c;三届车赛&#xff…

【C语言基础】:深入理解指针(一)

文章目录 一、内存和地址1. 内存2. 如何理解编址 二、指针变量和地址2.1 取地址操作符(&)2.2 指针变量和解引用操作符(*)2.2.1 指针变量2.2.2 如何拆解指针变量2.2.3 解引用操作符 2.3 指针变量的大小 三、指针变量类型的意义3.1 指针的解引用3.2 指针 - 整数3.3 void*指针…

HCIA-HarmonyOS设备开发认证V2.0-习题

目录 习题一习题二&#xff08;待续...&#xff09;坚持就有收获 习题一 # HarmonyOS简介 1. 以下哪几项属于OpenHarmony的技术特性&#xff1f;&#xff08;&#xff09;A. 统一OS&#xff0c;弹性部署B. 一次开发&#xff0c;多端部署C. 硬件互助&#xff0c;资源共享2. Ope…

从零开始的Java知识(下)

从零开始的Java知识 双列数据集合&#xff08;Day1&#xff09;Map 双列数据集合&#xff08;Day1&#xff09; Map 注意点&#xff1a; Map一次加入一个key-value一个key对应一个valuekey与key之间是不重复的key-value被称为键值对&#xff0c;键值对对象或者是entry对象 …

离散数学

(理解大于识记, 这么多公式我是记不住) 命题逻辑 P P P Q Q Q P \neg P P 否定/非 P ∧ Q P \wedge Q P∧Q 合取/与 P ∨ Q P \vee Q P∨Q 析取/或 P → Q P \to Q P→Q 蕴含 P ↔ Q P \leftrightarrow Q P↔Q 等价0010011011011010001001101111 P → Q P\to Q P→Q 的自然语…