Flink1.18 如何配置算子级别的TTL

1. 解释

从 Flink 1.18 开始,Table API & SQL 支持配置细粒度的状态 TTL 来优化状态使用,可配置粒度为每个状态算子的入边数。具体而言,OneInputStreamOperator 可以配置一个状态的 TTL,而 TwoInputStreamOperator(例如双流 join)则可以分别为左状态和右状态配置 TTL。更一般地,对于具有 K 个输入的 MultipleInputStreamOperator,可以配置 K 个状态 TTL。

2. 使用场景

2.1 为 双流 Join 的左右流配置不同 TTL。

双流 Join 会生成拥有两条输入边TwoInputStreamOperator的状态算子,它用到了两个状态,分别来保存来自左流和右流的更新

2.2 在同一个作业中为不同的状态计算设置不同 TTL

举例来说,假设一个 ETL 作业使用 ROW_NUMBER 进行去重操作后, 紧接着使用 GROUP BY 语句进行聚合操作。 该作业会分别生成两个拥有单条输入边的 OneInputStreamOperator 状态算子。您可以为去重算子和聚合算子的状态分别设置不同的 TTL

​2.3 注意

由于基于窗口的操作(例如窗口连接、窗口聚合、窗口 Top-N 等)和 Interval Join 不依赖于 table.exec.state.ttl 来控制状态保留,因此它们的状态无法在算子级别进行配置

Interval Join 是一种流处理操作,它在两个数据流之间基于时间间隔进行连接这种连接是基于时间窗口的,而不是基于状态的保留时间。在 Interval Join 中,系统会根据两个数据流中元素的时间戳和定义的间隔来决定哪些元素应该被连接在一起

3.如何使用

3.1 生成 Compiled Plan

注意使用时的类型是insert,如果不是insert会报错 Unsupported SQL query! compilePlanSql() only accepts a single SQL statement of type INSERT

CompiledPlan compiledPlan = tableEnv.compilePlanSql("INSERT INTO enriched_orders \n" + "SELECT a.order_id, a.order_line_id, b.order_status, ... \n" + "FROM orders a JOIN line_orders b ON a.order_line_id = b.order_line_id");compiledPlan.writeToFile("/path/to/plan.json");在Flink Sql中使用COMPILE PLAN '/path/to/plan.json' FOR
INSERT INTO OrdersShipInfo
SELECT a.order_id, a.line_order_id, b.ship_mode 
FROM Orders a JOIN LineOrders b  ON a.line_order_id = b.line_order_id;

3.2 修改 Compiled Plan

每个状态算子会显式地生成一个名为 “state” 的 JSON 数组,具有如下结构。 理论上一个拥有 k 路输入的状态算子拥有 k 个状态"state": [{"index": 0,"ttl": "0 ms","name": "${1st input state name}"},{"index": 1,"ttl": "0 ms","name": "${2nd input state name}"},...]找到您需要修改的状态算子,将 TTL 的值设置为一个正整数,注意需要带上时间单位毫秒。举例来说,如果想将当前状态算子的 TTL 设置为 1 小时,您可以按照如下格式修改 JSON:{"index": 0,"ttl": "3600000 ms","name": "${1st input state name}"
}理论上,下游状态算子的 TTL 不应小于上游状态算子的 TTL。
保存好文件,然后使用 EXECUTE PLAN 语句来提交作业

3.3 执行Compiled Plan

tableEnv.loadPlan(PlanReference.fromFile("/path/to/plan.json")).execute().await();在Flink Sql中使用EXECUTE PLAN '/path/to/plan.json'

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/764340.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Sphinx + Readthedocs 避坑速通指南

博主在学习使用 Sphinx 和 Read the docs 的过程中, 碰到了许多奇葩的 bug, 使得很简单的任务花费了很长的时间才解决,现在在这里做一个分享,帮助大家用更少的时间高效上线文档的内容。 总的来说, 任务分为两个部分: …

UE5制作推箱子动作时获取物体与角色朝向的角度及跨蓝图修改变量

就是脑残死磕,你们如果有更好的方法一定要留言啊~~独乐乐不如众乐乐。 做推箱子的时候需要考虑脸是不是面对着箱子,不是必须90度,可以有一个-45~45度的范围。 摸索了一下,有几种做法和几个小白坑,这里列出来。 一、准…

python 创建word并添加文字和统计图

在Python中,可以使用python-docx库来创建Word文档,并添加文本和统计图。以下是一个简单的例子,演示如何创建一个Word文档,添加标题、文本和一个简单的统计图(这里以条形图为例)。 首先,安装所需…

mysql 索引原理为什么用b+树而不用二叉树

在数据库中,索引是一种数据结构,它能够快速定位到存储在数据库表中特定行的数据。MySQL等数据库管理系统通常使用B树作为索引的数据结构,而不使用二叉树,主要基于以下几个原因: 高度平衡:B树是一种多路搜索…

Ubuntu 下conda创建环境失败报错相关问题

(1) env |grep -i proxyunset http_proxy unset https_proxy unset no_proxy unset HTTP_PROXY unset HTTPS_PROXY unset NO_PROXY(2) vim ~/.condarc将里面内容替换为: channels:- https://mirrors.tuna.tsinghua.…

软件推荐 篇三十七:开源免费无广告的在线音乐免费播放 | MusicFree纯净无广告体验-小众冷门推荐

引言 自从QQ音乐没了杰伦、某云开始收费,除了各种广告弹窗导致电脑卡的要死,打工人就靠这点音乐背景熬夜了,木有办法,得有个开源免费的听歌软件吧,一搜github,软件一大堆,作为一个打工仔&#…

【前端寻宝之路】学习和总结HTML表格的实现和合并

🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法|MySQL| ​💫个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-IWDj0gWiFt6IMq3x {font-family:"trebuchet ms",verdana,arial,sans-serif;f…

LeetCode的LRU缓存实现

LRU是什么意思 LRU是操作系统底层的一个页面置换算法,当空间不够需要换出最长时间没有使用的页面,在本题中的意思就是当到达容量上限的时候要换出最长时间没有被访问过的节点。 如何实现 LRU的实现可以使用链表的方式,参照MySQL的实现&…

GraphPad Prism 10:一站式数据分析解决方案

GraphPad Prism 10是一款功能强大的数据分析和可视化软件,广泛应用于生命科学研究、医学、生物、化学等多个领域。以下是对其详细功能的介绍: 首先,GraphPad Prism 10具有出色的数据可视化功能。它支持各种类型的图表和图形,包括…

解决arco-design下拉框回显id的问题

问题描述 下拉框回显选项中没有的选项,就会出现以下情况,只能把uid回显上去 解决方案 使用ui框架自带的属性fallback-option 用法 按以上操作,即可解决选择框回显uid问题

十一.matplotlib可视化

目录 十一.matplotlib可视化 1 数据可视化 2 应用场景 3 Matplotlib 脚本层 美工层 后端层 3.1 第一个绘图程序 matplotlib常用配置 查看自己电脑上的 字体库 3.2 基本绘图 plt.plot() 3.3 样式和颜色 3.4 画布配置figure 坐标轴及标签 设置图例??? 添加注…

【QT+QGIS跨平台编译】之八十七:【QGIS_Gui跨平台编译】—【qgis_gui.h生成】

文章目录 一、qgis_gui.h介绍二、信息分析三、qgis_gui.h生成一、qgis_gui.h介绍 qgis_gui.h 是 QGIS(Quantum GIS)软件中的一个头文件,主要用于服务于QGIS_GUI库的编译,包含导入、导出宏信息的定义。 二、信息分析 在qgis\src\gui目录,CMakeLists.txt文件记录了相关信息…

python loguru 日志数据代码模块+飞书消息通知

前提: 之前python文件输出日志到文件的时候,使用logging模块,发现特别麻烦,需要文件日期切分,异步打印日志,文件留存时间,这些功能的实现就很麻烦,都需要自己写,之后发现…

Vue3中的reactive与ref

前言&遇到的bug reactive与ref都是Vue3中非常重要的API,众所周知,用这两个API可以创建响应式数据,从而实现Vue的数据驱动视图。 平时用的时候只知道用ref定义基本数据类型,reactive定义引用数据类型。 因为今天发现一个bug…

vue项目的性能优化

结合lighthouse查看各项数据,不断进行性能优化,可以从代码、打包、部署这三个层面来优化 代码层面 1、v-if和v-show区分使用 v-if(惰性的)用的条件判断,是惰性的,false的话初始不会渲染,适用…

【DevOps云实践】使用Azure Pipeline部署Function App

目录 介绍1 Azure DevOps2 微软Azure3 Azure Pipelines3.1 创建流水线**3.1.2 创建流水线**3.2 创建库3.3 运行流水线当流水线成功验证编译的YAML时,将显示阶段和作业。3.4 流水线审阅3.5 检查函数应用结论推荐超级课程: Docker快速入门到精通Kubernetes入门

32、计算e

作者: Turbo时间限制: 1S章节: 循环 问题描述 : 利用公式e1 1/1! 1/2! 1/3! ... 1/n!,编程计算e的近似值,直到最后一项的绝对值小于threshold(该项不包括在结果内),输出e的值并统计累加的项数。 输入说明 : 输…

论文阅读:机器人跑酷学习

项目开源地址:https://github.com/ZiwenZhuang/parkour 摘要: 跑酷对腿部机动性是一项巨大的挑战,要求机器人在复杂环境中快速克服各种障碍。现有方法可以生成多样化但盲目的机动技能,或者是基于视觉但专门化的技能,…

代码随想录笔记|C++数据结构与算法学习笔记-二叉树(一)|二叉树的递归遍历、二叉树的迭代遍历、二叉树的统一迭代法

全文基于代码随想录及相关讲解视频。 文字链接:《代码随想录》 文章目录 二叉树的递归遍历二叉树的前序遍历C代码如下 二叉树的中序遍历二叉树的后序遍历 二叉树的迭代遍历前序遍历前序遍历C代码 右序遍历右序遍历C代码 中序遍历为什么中序遍历不同中序遍历迭代法的…

FEX-Emu在Debian/Ubuntu系统使用

FEX-Emu在Debian/Ubuntu系统使用 1. Debootstrap子系统安装(可选)2. Debian/Ubuntu依赖包安装3. 获取FEX-Emu源码并编译4. 根文件系统RootFS安装5. 基于 FEX-Emu 运行应用 1. Debootstrap子系统安装(可选) sudo apt-get install …