38、Flink 的窗口触发器(Triggers)详解

Triggers
a)概述

Trigger 决定了一个窗口(由 window assigner 定义)何时可以被 window function 处理;每个 WindowAssigner 都有一个默认的 Trigger,如果默认 trigger 无法满足需要,可以在 trigger(...) 调用自定义的 trigger。

Trigger 接口提供了五个方法来响应不同的事件

  • onElement() 方法在每个元素被加入窗口时调用。
  • onEventTime() 方法在注册的 event-time timer 触发时调用。
  • onProcessingTime() 方法在注册的 processing-time timer 触发时调用。
  • onMerge() 方法与有状态的 trigger 相关。该方法会在两个窗口合并时,将窗口对应 trigger 的状态合并,比如使用会话窗口时。
  • clear() 方法处理在对应窗口被移除时所需的逻辑。

注意

  • 前三个方法通过返回 TriggerResult 来决定 trigger 如何应对到达窗口的事件,应对方案有以下几种:
    • CONTINUE: 什么也不做
    • FIRE: 触发计算
    • PURGE: 清空窗口内的元素
    • FIRE_AND_PURGE: 触发计算,计算结束后清空窗口内的元素
  • 上面的任意方法都可以用来注册 processing-time 或 event-time timer。
b)触发(Fire)与清除(Purge)

当 trigger 认定一个窗口可以被计算时,它就会触发,也就是返回 FIREFIRE_AND_PURGE;即让窗口算子发送当前窗口计算结果的信号,如果一个窗口指定了 ProcessWindowFunction,所有的元素都会传给 ProcessWindowFunction,如果是 ReduceFunctionAggregateFunction,则直接发送聚合的结果。

当 trigger 触发时,它可以返回 FIREFIRE_AND_PURGEFIRE 会保留被触发的窗口中的内容,而 FIRE_AND_PURGE 会删除这些内容, Flink 内置的 trigger 默认使用 FIRE,不会清除窗口的状态。

Purge 只会移除窗口的内容, 不会移除关于窗口的 meta-information 和 trigger 的状态。

c)WindowAssigner 默认的 Triggers

WindowAssigner 默认的 Trigger 足以应付诸多情况;比如,所有的 event-time window assigner 都默认使用 EventTimeTrigger。 这个 trigger 会在 watermark 越过窗口结束时间后直接触发。

GlobalWindow 的默认 trigger 是永远不会触发的 NeverTrigger,在使用 GlobalWindow 时,必须自定义一个 trigger。

当在 trigger() 中指定了一个 trigger 时, 实际上覆盖了当前 WindowAssigner 默认的 trigger;如果指定了一个 CountTriggerTumblingEventTimeWindows,窗口将不再根据时间触发, 而是根据元素数量触发。

d)内置 Triggers 和自定义 Triggers

Flink 包含一些内置 trigger。

  • EventTimeTrigger 根据 watermark 测量的 event time 触发。
  • ProcessingTimeTrigger 根据 processing time 触发。
  • CountTrigger 在窗口中的元素超过预设的限制时触发。
  • PurgingTrigger 接收另一个 trigger 并将它转换成一个会清理数据的 trigger。

如果需要实现自定义的 trigger,请查看抽象类 Trigger。

https://github.com/apache/flink/blob/release-1.19//flink-streaming-java/src/main/java/org/apache/flink/streaming/api/windowing/triggers/Trigger.java

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/17150.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

硬件工程师求职,笔试题交白卷,忍不了!

大家好,我是记得诚。 最近面试一位硬件工程师,笔试题直接交了白卷,我还是去面试了一下,会一会,看是何方神圣。 对方上来也是直接说明了一下,说工作有点久了,有些基础的知识忘记了,…

Pytorch深度学习实践笔记11(b站刘二大人)

🎬个人简介:一个全栈工程师的升级之路! 📋个人专栏:pytorch深度学习 🎀CSDN主页 发狂的小花 🌄人生秘诀:学习的本质就是极致重复! 《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibi…

WindowsCMD窗口配置OhMyPosh

WindowsCMD窗口配置OhMyPosh 文章目录 WindowsCMD窗口配置OhMyPosh1. 按装Clink1. 安装Oh-My-Posh2. 安装Clink2. 安装后的位置 2. 编写Lua脚本1. oh-my-posh Lua脚本2. 重启cmd窗口看效果 OhMyPosh对Windows CMD 没有现成的支持。 然而可以使用Clink来做到这一点,它…

虚拟化知识学习

虚拟化知识学习 关键概念和术语的简要介绍 虚拟化的基本概念 虚拟机 (VM):一个虚拟机是一个模拟计算机系统的环境。它运行在物理硬件之上,但与物理硬件隔离,提供类似于物理计算机的功能。 虚拟化技术:这是指使用软件来创建虚拟版…

【Java reentrantlock源码解读】

今天学习一下Java中lock的实现方式aqs 直接上图这是lock方法的实现类、分为公平锁和非公平锁两种。 先看非公平的实现方法、很暴力有木有,上来直接CAS(抢占锁的方法,是一个原子操作,没有学过的同学自行百度哦)&#…

软件测试面试题(六)

一:质量的八大特性是什么?各种特性的定义? 功能性:软件所实现的功能达到它的设计规范和满足用户需求的程度 性能:在规定的条件下实现软件功能所需的响应时间和计算机资源(CPU、内存、磁盘空间和吞吐量&…

MagicaCloth2中文文档

提示:经搬运者测试,在ecs1.0中运行最为良好 如何安装 英语日语 目录 [隐藏] 1 如何安装2 样本运行测试3 可以删除示例文件夹4 如何更新5 发生错误时该怎么办6 如何卸载7 如何检查版本 如何安装 MagicaCloth2 需要 Unity 2021.3.16 (LTS&…

jQuery效果2

jQuery 一、属性操作1.内容2.列子,购物车模块-全选 二、内容文本值1.内容2.列子,增减商品和小记 三、元素操作(遍历,创建,删除,添加)1.遍历2.例子,购物车模块,计算总件数和总额3.创建…

【简单介绍下线性回归模型】

🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者,CSDN实力新星,CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共…

Habicht定理中有关子结式命题3.4.6的证明

个人认为红色区域有问题,因为 deg ⁡ ( ϕ ( S j ) ) r \deg{\left( \phi\left( S_{j} \right) \right) r} deg(ϕ(Sj​))r,当 i ≥ r i \geq r i≥r时, s u b r e s i ( ϕ ( S j 1 ) , ϕ ( S j ) ) subres_{i}\left( \phi(S_{j 1}),\p…

技术速递|使用 C# 集合表达式重构代码

作者:David Pine 排版:Alan Wang 本文是系列文章的第二篇,该系列文章涵盖了探索 C# 12功能的各种重构场景。在这篇文章中,我们将了解如何使用集合表达式重构代码,我们将学习集合初始化器、各种表达式用法、支持的集合目…

函数调用时长的关键点:揭秘参数位置的秘密

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一、默认参数的秘密 示例代码 二、关键字参数与位置参数的舞蹈 示例代码 总结 一、默认参…

Linux下SuiteSparse的下载与编译

前言 SuiteSparse 是一个用于稀疏矩阵计算的开源库,它提供了一系列高效的算法和工具,用于解决线性代数和优化问题中的稀疏矩阵操作。 SuiteSparse Matrix Collection 是由 Tim Davis 创建和维护的一个稀疏矩阵集合,其中包含了各种各样的真实…

Java学习:电影查询简单系统

1.创建一个movice的对象来存放电影 里面设置构造器(有参和无参) package com.movie;public class movice {//创建一个movice的对象存放电影private int id;private String name;private double price;private double score;private String diector;pri…

PyCharm面板ctrl+鼠标滚轮放大缩小代码

1.【File】➡【Settings】 2.点击【Keymap】,在右边搜索框中搜incre,双击出现的【Increase Font Size】 3.在弹出的提示框中选择【Add Mouse Shortcut】 4.弹出下面的提示框后,键盘按住【ctrl】,并且上滑鼠标滚轮。然后点击【O…

高等数学导学

高数内容线 1.极限2.导数3.积分一元函数多元函数: 说明 高等数学主要讲这三个东西,上下两册内容:上册主要讲一元,下册讲多元 但是一元是多元的基础,必须得掌握好,下册的多元函数才能学的好 七八章讲微分和解…

ResizeObserver loop completed with undelivered notifications.

报错信息 ResizeObserver loop completed with undelivered notifications. 来源 在用vue3 element-plus写项目的时候报的错,经过排查法,发现是element-plus的el-table组件引起的错误。 经过初步排查,这个错误并不是vue以及element-plus…

【前端每日基础】day24——DOM操作

DOM 操作 获取元素 要对网页中的元素进行操作,首先需要获取这些元素。常用的方法有: document.getElementById(id): 获取具有指定id的元素。 document.getElementsByClassName(className): 获取具有指定类名的所有元素,返回HTMLCollection。…

Redis数据类型(上篇)

前提:(key代表键) Redis常用的命令 命令作用keys *查看当前库所有的keyexists key判断某个key是否存在type key查看key是什么类型del key 删除指定的keyunlink key非阻塞删除,仅仅将keys从keyspace元数据中删除,真正的…

vueRouter路由总结

https://blog.csdn.net/qq_24767091/article/details/119326884