flink source 同步_大数据面试题-Flink

1、Flink 的 抽象层次有几种

Stateful stream processing

Core API

Table

SQL

2、Window 类型

(1)TimeWindow

Tumbling Window(滚动窗口)

Sliding Window(滑动窗口)

Session Window(会话窗口)

Global Window(全局窗口)

(2)countWindow

(3)自定义window

3、Time 类型

事件时间、注入时间和Processing Time

4、Checkpoint的理解

轻量级容错机制(全局异步,局部同步)

保证exactly-once 语义

用于内部失败的恢复

基本原理:通过往source 注入barrier,barrier作为checkpoint的标志

5、Savepoint

流处理过程中的状态历史版本

具有可以replay的功能

外部恢复(应用重启和升级)

两种方式触发:Cancel with savepoint,手动主动触发

$s bin/flink savepoint :jobId [:targetDirectory]

$ bin/flink cancel -s [:targetDirectory] :jobId

6、Flink runtime architecture

Job Manager

Task Manger

Client

角色间的通信(Akka)

数据的传输(Netty)

7、什么是solts

solts :槽,slot 的数量通常与每个 TaskManager 的可用 CPU 内核数成比例。

一般情况下你的 slot 数是你每个 TaskManager 的 cpu 的核数。

8、什么是状态

Definition

task/operator在某个时刻的中间结果

Snapshot

Effect:记录状态并且在失败时用于恢复

Basic type:Operator state、Keyed state

9、RestartStrategies

Restart Strategies

4种重启策略

10、statebacked有几种(3种)

Apache Flink 1.8 Documentation: State Backends

//env.setStateBackend(new MemoryStateBackend());

//env.setStateBackend(new FsStateBackend("hdfs://hadoop100:9000/flink/checkpoints"));

//env.setStateBackend(new RocksDBStateBackend("hdfs://hadoop100:9000/flink/checkpoints",true));

11、运行模式

Job模式

独享Dispatcher和ResourceManager

资源按需申请

适合⼤大作业

Session模式

共享Dispatcher和ResourceManager

共⽤用TaskManager

适合规模⼩小,运⾏行行时间短的作业

12、全量聚合和增量聚合 window

全量聚合:ProcessWindowFunction

增量聚合:ReduceFunction、AggregateFunction、FoldFunction

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/381562.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python 程序员专属情话_程序员高端情话来一波,你想要的情话原来都在这里......

原标题:程序员高端情话来一波,你想要的情话原来都在这里...程序员最幽默(ID:humor1024)整编图片来自:网络今天是2019年8月7号,一年一度的情人节又来了作为屌丝界的一枚程序员怎么能不参与到这个振奋人心的日子里呢&…

HDU ACM Steps攻略 ACM Steps的全部内容

原地址:http://www.byywee.com/page/M0/S607/607452.html 总结了一下ACM STEPS的各章内容,趁便附上我的Steps题号(每人的不一样)。 别的,此文首要目标是为了装逼; 大牛请疏忽; 摸索欲斗劲强…

ASP.NET中常用的js代码

ASP.NET中常用的js代码 所属类别:ASP.net推荐指数:★★☆文档人气:61本周人气:3发布日期:2008-7-8三、弹出框1、 弹出提示框Alert("提示框,呵呵");2、 弹出确认框return confirm("确认框&am…

linux孟庆昌第六章课后题_第六章课后练习题答案

第四部分课后练习题一、单项选择题1.某投资方案的年营业收入为元,年总营业成本为60000元,其中年折旧额10000元,所得税率为33%,该方案的每年营业现金流量为( B)。A.26800元B.36800元C…

1.1.1.1校园网_Apache Flink 1.11.0 重要功能全面解析

来源 | Apache Flink 官方博客翻译 | 高赟(云骞)Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布!超过 200 名贡献者参与了 Flink 1.11.0 的开发,提交了超过 1300 个修复或优化。这些修改极大的提高了 Flink 的可用性,并且增强了各…

双硬盘双win10互不干扰_笔者详解win10系统双硬盘经常提示“盘符交错”的技巧...

你是否遇到过win10系统双硬盘经常提示“盘符交错”的问题。那么出现win10系统双硬盘经常提示“盘符交错”的问题该怎么解决呢?很多对电脑不太熟悉的小伙伴不知道win10系统双硬盘经常提示“盘符交错”到底该如何解决?其实只需要  一、修复windows  二、…

[leetcode] 617. Merge Two Binary Trees

题目描述 给定两棵树,要求合并它们,如果节点重合则新合并的树的节点为它们之和,否则不变。 思路 简单递归,c语言怎么创建新节点忘记了,就直接写的。 代码 /*** Definition for a binary tree node.* struct TreeNode {…

python定时任务_Python定时任务(上)

在项目中,我们可能遇到有定时任务的需求。其一:定时执行任务。例如每天早上 8 点定时推送早报。其二:每隔一个时间段就执行任务。比如:每隔一个小时提醒自己起来走动走动,避免长时间坐着。今天,我跟大家分享…

3-font

第三章 font-family控制文字字体font-family:Arial, Helvetica, sans-serif;依次采用列表中的字体,如果没有系统中没有安装,则采用浏览器默认字体。font-size控制文字大小1in(英寸) 2.54cm(厘米) 25.4 mm…

显示控制器注释_欧姆龙可编程控制器CS1D-CPU产品型号说明及功能介绍

欧姆龙可编程控制器CS1D-CPU用CPU单元 CPU单元(用于双CPU系统)欧姆龙可编程控制器CS1D-CPU用CPU单元 特点可以轻松引入、使用高可靠性系统成双配备CPU单元轻松易行CPU单元内的程序或内部数据在活动/备用CPU之间完全进行自动传送并进行同步。 无需选择要同步的数据或单独进行传送…

oracle查看数据库是否恢复成功_记一次解决docker下oracle数据库故障事例

一、问题背景:某个项目的线上环境oracle数据库挂了,同事急匆匆来找我救火。我简单咨询了一些基本情况:线上环境,docker部署,已正常运行半年。由于宿主机的根目录硬盘空间不够,运维的同事想把oracle数据文件…

[调剂复试]复试后的一点总结

来北京差不多有两天了,调剂的事情也有了结果,之前的忐忑的心也终于放了下来。好不容易有一点空闲的时间,所以想好好地总结一下,谈不上有多少经验,只是希望阅读这篇文章的人能够在迷茫的时候看到方向。 先说下调剂的学…

js取字符串后四位_JS逆向 | 某验滑块加密参数逆向分析

声明:本文只作学习研究,禁止用于非法用途,否则后果自负,如有侵权,请告知删除,谢谢!aHR0cHM6Ly93d3cuZ2VldGVzdC5jb20vZGVtby9zbGlkZS1mbG9hdC5odG1s抓包分析,看到一个加密参数w&…

谨防代理木马和怕米释放有毒程序

江民今日提醒您注意:在今天的病毒中Trojan/PSW.Agent.ann“代理木马”变种ann和TrojanDropper.Psyme.gke“怕米”变种gke值得关注。 英文名称:Trojan/PSW.Agent.ann中文名称:“代理木马”变种ann病毒长度:243200字节病毒类型&…

[python] 命令行模式下出现cp65001异常

问题 在命令行模式下有时会提示cp65001异常,很显然是命令行编码和python环境编码不匹配。 解决 切换命令行编码 unknown encoding: cp65001异常 python安装后进入命令行交互模式,输入任何代码都报unknown encoding: cp65001异常 需要将编码(UTF-8)修改…

挖掘城市ip_德国卡尔斯草莓农庄:旅游IP打造要创意更要形象!

什么是IP?名人圈:杨超越游戏圈:王者荣耀影视界:延禧攻略出版界:Harry Potter相声界:郭德纲……别忙着争先恐后,知道你的IP数不胜数~~你知道的IP数不胜数,一个人、一部作品、一个品牌、一座城市…

rust种的南瓜为什么老是消失_冷天早餐别将就,用南瓜和萝卜这样做,鲜香松软,营养好吃又管饱...

导语:11月我家爱吃这菜,加根萝卜简单一卷,有颜有料,孩子经常点名吃。冷天早餐别将就,用南瓜和萝卜这样做,鲜香松软,营养好吃又管饱“南瓜再大本地卖,辣椒再小穿省过”记得悦悦小时候…

windows下搭建python运行环境

今天python的环境炸了,刚好也重新做一下,记录下折腾的过程。 文件下载 首先打开官网,找到对应的文件的下载索引。 https://www.python.org/downloads/windows/ 其中3.7.0是版本号,a是代表稳定版本,b代表的是测试版本&…

python云计算开发技术_云计算开发学习笔记:Python3 面向对象技术简介

来源:TechWeb.com.cn Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。 如果你以前没有接触过面向对象的编程语言,那你可能需要先了解…

ORDER BY NEWID()【原创】

关于ORDER BY NEWID(),我是这么理解的:NEWID()是一个产生随即uniqueidentifier的函数,对于ORDER BY子句来说,如果后面接的是一个常量字符串,那么每次排序的顺序都是一样的,如果后面接的是变量,那…