FlinkSql hint之状态生命周期 state_ttl

状态生命周期hint

FlinkSQL 的 state ttl(Time-To-Live,生存时间)是一个用于管理状态数据生命周期的机制。在 Flink 流处理中,状态是一个重要的概念,它允许跨时间窗口或事件时间处理的状态化操作。然而,随着时间的推移,这些状态数据可能会变得不再相关或过时。为了有效地管理这些状态并避免无限期地保留它们,Flink 引入了 state ttl 机制。

state ttl 允许你为状态设置一个生存时间。一旦状态数据的生存时间超过了指定的 TTL 值,Flink 就会自动清理这些状态。这有助于减少不必要的状态数据占用,提高系统的稳定性和性能。

对于有状态计算的流连接和分组聚合操作,用户可以通过 STATE_TTL 来指定算子粒度的空闲状态维持时间,该方式能够使得在上述状态算子中使用与作业级别 table.exec.state.ttl 不同的值。

流连接示例 # 
CREATE TABLE my_table (  ...  
) WITH (  'connector' = '...',  'scan.startup.mode' = 'latest-offset',  'state.ttl' = '3h'  -- 设置状态生存时间为3小时  
);

在上面的例子中,state.ttl 被设置为 3h,意味着任何状态数据的生存时间超过 3 小时后都会被自动清理。

更多例子:

CREATE TABLE orders (o_orderkey INT,o_custkey INT,o_status BOOLEAN,o_totalprice DOUBLE
) WITH (...);CREATE TABLE lineitem (l_linenumber int,l_orderkey int,l_partkey int,l_extendedprice double
) WITH (...);CREATE TABLE customers (c_custkey int,c_address string
) WITH (...);-- 表名作为 hint 键
SELECT /*+ STATE_TTL('orders'='3d', 'lineitem'='1d') */ * FROM
orders LEFT JOIN lineitem
ON orders.o_orderkey = lineitem.l_orderkey;-- 别名作为 hint 键
SELECT /*+ STATE_TTL('o'='3d', 'l'='1d') */ * FROM
orders o LEFT JOIN lineitem l
ON o.o_orderkey = l.l_orderkey;-- 临时视图作为 hint 键
CREATE TEMPORARY VIEW left_input AS SELECT ... FROM orders WHERE ...;
CREATE TEMPORARY VIEW right_input AS SELECT ... FROM lineitem WHERE ...;
SELECT /*+ STATE_TTL('left_input'= '360000s', 'right_input' = '15h') */ * 
FROM left_input JOIN right_input
ON left_input.join_key = right_input.join_key;-- 级联 join
SELECT /*+ STATE_TTL('o' = '3d', 'l' = '1d', 'c' = '10d') */ *
FROM orders o LEFT OUTER JOIN lineitem l
ON o.o_orderkey = l.l_orderkey
LEFT OUTER JOIN customers c
ON o.o_custkey = c.c_custkey;
分组聚合示例 # 
-- 表名作为 hint 键
SELECT /*+ STATE_TTL('orders' = '1d') */ o_orderkey, SUM(o_totalprice) AS revenue
FROM orders
GROUP BY o_orderkey;-- 别名作为 hint 键
SELECT /*+ STATE_TTL('o' = '1d') */ o_orderkey, SUM(o_totalprice) AS revenue
FROM orders AS o
GROUP BY o_orderkey;-- 查询块作为 hint 键
SELECT /*+ STATE_TTL('tmp' = '1d') */ o_orderkey, SUM(o_totalprice) AS revenue
FROM (SELECT o_orderkey, o_totalpriceFROM ordersWHERE o_shippriority = 0) tmp
GROUP BY o_orderkey;

注意:

  • 用户既可以选择表(或视图)名也可以选择别名作为提示键,但在指定别名时需要使用别名。
  • 对于多流连接场景,直接指定每张表的生命周期只会在第一个连接算子的左右流和第二个连接算子的右流上生效(因为流上关联操作是二元的)。如果想为每个连接算子的左右流都指定不同生命周期,需要将查询拆成多个查询块,如下所示。
    CREATE TEMPORARY VIEW V AS 
    SELECT /*+ STATE_TTL('A' = '1d', 'B' = '12h')*/ * FROM A JOIN B ON...;
    SELECT /*+ STATE_TTL('V' = '1d', 'C' = '3d')*/ * FROM V JOIN C ON ...;
    
  • STATE_TTL 提示仅作用在当前查询块上。
  • 当 STATE_TTL 提示键重复时取最后一个值。举例来说,在出现 SELECT /*+ STATE_TTL('A' = '1d', 'A' = '2d')*/ * FROM ... 时,输入 A 的 TTL 值将会取 2d。
  • 当出现多个 STATE_TTL 且提示键重复时取第一个值。举例来说,在出现 SELECT /*+ STATE_TTL('A' = '1d', 'B' = '2d'), STATE_TTL('C' = '12h', 'A' = '6h')*/ * FROM ... 时,输入 A 的 TTL 值将会取 1d。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/714959.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分治法(Divide and Conquer)

目录 1.定义 2.例子 3.注意 1.定义 分治法(Divide and Conquer)是一种解决问题的算法设计策略,它将一个大问题分解成若干个规模较小且结构与原问题相似的子问题,然后递归地解决这些子问题,最后将子问题的解合并起来…

Dockerfile 语法教程

Dockerfile 语法教程 文章目录 Dockerfile 语法教程Dockerfile 语法教程基础概念Dockerfile 简介镜像、容器、仓库的概念 Dockerfile 基本语法 Dockerfile 基本语法Dockerfile 的基本结构注释的使用指令的格式指令的执行顺序 Dockerfile 常用指令FROM 指令RUN 指令CMD 指令ENTR…

鸿蒙岗位需求突增!移动端、PC端、IoT到底该怎么选?

“2024年是原生鸿蒙的关键一年,我们要加快推进各类鸿蒙原生应用的开发,集中打赢技术底座和三方生态两大最艰巨的战斗。”这是余承东在新年信中表达的决心。 随后在1月18日举行的鸿蒙生态千帆启航仪式上,华为宣布 HarmonyOS NEXT 鸿蒙星河版系…

当开发人员无法解决问题时,测试人员应该如何与他们沟通?

当开发人员无法解决问题时,测试人员可以采取以下方式进行沟通: 保持耐心和理解:意识到解决问题可能需要时间和努力,避免对开发人员施加过度压力。提供更多信息和细节:检查是否有其他相关信息或细节可以提供给开发人员…

Codeforces Round 929 (Div. 3)---->E. Turtle vs. Rabbit Race: Optimal Trainings

一,思路: 1,做这题如果对二分敏感的话,看完题目就大概很容易想到,通过二分来找到一个 r ,使得 [ l, r] 之间的和最接近 u (因为这样才是 Isaac 所能获得的最大提升)。 2,还有一个特殊情况,结合…

MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT

论文的主要目的是设计一个准确且高效的小型语言模型(SLM),以满足资源受限设备的需求。以下是根据论文内容整理的要点: 背景与挑战: 大型语言模型(LLMs)在处理复杂任务时表现出色,但它…

Linux下进程相关概念详解

目录 一、操作系统 概念 设计操作系统的目的 定位 如何理解“管理” 系统调用和库函数概念 二、进程 概念 描述进程—PCB(process control block) 查看进程 进程状态 进程优先级 三、其它的进程概念 一、操作系统 概念 任何计算机系统都包…

【Easyx】easyx从入门到精通 — 初步入门

easyx 初步入门 1 安装easyx图形库2 如何使用Easyx3 效果初试4 基本图形绘制4.1 绘制点4.2 绘制直线4.3 绘制圆形4.4 绘制矩形4.5 绘制椭圆4.6 绘制圆角矩形4.7 绘制扇形 Thanks♪(・ω・)ノ谢谢阅读!!!下一篇…

Java学习—字符流

在 Java 中,字符流主要用于处理字符数据,比如文本文件。字符流直接以字符为单位进行读写操作,自动处理字符与底层字节之间的转换,因此非常适合处理包含文本数据的文件。Java 中处理字符流的核心抽象类是 Reader 和 Writer。 Read…

C#面:是否可以从一个 static 方法内部发出对非 static 方法的调用

不可以; 不能直接从一个静态方法内部调用非静态方法。 这是因为静态方法是属于类的,而非静态方法是属于类的实例的。 静态方法可以在没有创建类的实例的情况下被调用,而非静态方法需要通过类的实例来调用。 如果想要从静态方法内部调用非…

算法入门-二分搜索(长期更新)

文章目录 情景一 : 二分查找情景二 : 找出一个 > num 的最左侧的位置情景三 : 找出一个 < num 的最右侧的位置leetcode 162 :寻找峰值leetcode 69 : x 的平方根 首先来简介一下二分搜索算法,二分搜索是一种每次砍半的算法,最经典的案例当然是我们的二分查找算法,但是大部…

【JAVA重要知识 | 第一篇】一篇文章读懂HashMap(存储、扩容、初始化过程)

文章目录 1.一篇文章读懂HashMap&#xff08;存储、扩容、初始化过程&#xff09;1.1HashMap简介1.1.1特点1.1.2优点1.1.3缺点 1.2深入解读HashMap1.2.1常用常量和变量&#xff08;1&#xff09;常用常量&#xff08;2&#xff09;常用变量 1.2.2存储过程&#xff08;1&#xf…

诊所门诊电子处方软件操作教程及试用版下载,医务室处方笺管理系统模板教程

诊所门诊电子处方软件操作教程及试用版下载&#xff0c;医务室处方笺管理系统模板教程 一、前言 以下软件程序教程以 佳易王诊所电子处方软件V17.0为例说明 软件文件下载可以点击最下方官网卡片——软件下载——试用版软件下载 如上图&#xff0c;点击基本信息设置——处方配…

Acwing---1208. 翻硬币

翻硬币 1.题目2.基本思想3.代码实现 1.题目 小明正在玩一个“翻硬币”的游戏。 桌上放着排成一排的若干硬币。我们用 * 表示正面&#xff0c;用 o 表示反&#xff08;是小写字母&#xff0c;不是零&#xff09;。 比如&#xff0c;可能情形是&#xff1a;**oo***oooo 如果同…

Python编程小案例—利用flask查询本机IP归属并输出网页图片

Python编程小案例—利用flask查询本机IP归属并输出网页图片 环境&#xff1a;Pycharm Mac OS 源码如下&#xff1a; from flask import Flask, render_template, requestapp Flask(__name__)app.route(/) def index():return render_template(IP查询.html)if __name__ __…

文心一言 Python编程之

给一个包含n个整数的数组nums&#xff0c;判断nums中是否存在三个元素a,b,c&#xff0c;使得abc0?请你找出所有和为0且不重复的三元组。 注意&#xff1a;答案中不可以包含重复的三元组。 示例1&#xff1a; 输入&#xff1a;nums[-1,0,1,2,-1,-4] 输出&#xff1a;[[-1,-1,2…

中介者模式

定义&#xff1a;中介者模式&#xff08;Mediator Pattern&#xff09;又称为调节者模式或调停者模式。用一个中介对象封装一系列的对象交互&#xff0c;中介者使各对象不需要显式的相互作用&#xff0c;从而使其耦合松散&#xff0c;而且可以独立地改变它们之间的交互。 适用…

如何正确选择一台大路灯?2024五大出众品牌大路灯推荐,附超全科普知识整理

大路灯的使用操作非常简便&#xff0c;而且能够提供最适合目前用眼的光线环境。但如今市场中却有一些劣质大路灯&#xff0c;它们的使用体验不佳&#xff0c;很多客户反馈说可能会出现光线不稳定、刺眼等问题&#xff0c;甚至会有让用户有损伤视力的风险。那么如何选择一台大路…

华硕ROG玩家国度幻16air 2024原装系统恢复安装教程方法

华硕ROG玩家国度幻16air 2024原装系统恢复安装教程方法 重建ASUSRECOVERY恢复功能 支持型号&#xff1a; GU605MI&#xff0c;GU605MY&#xff0c;GU605MZ GU605MV&#xff0c;GU605MU 分3种安装方法 远程恢复安装&#xff1a;https://pan.baidu.com/s/166gtt2okmMmuPUL1…