(六)Flink 窗口计算

窗口(Window)是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中,再对每个“桶”加以处理。

目录

时间概念

窗口类型

窗口划分

窗口的生命周期

Window Assigners

窗口函数

Triggers 窗口触发器

Evictor 数据剔除器

Allowed Lateness

旁路输出


时间概念

在有状态流处理中,时间在计算中起着重要的作用。当进行时序分析、基于特定时间段(通常指窗口)进行聚合时,都会引入时间概念:

  • 处理时间(Processing time):

处理时间是指执行相应操作的机器的系统时间。每小时处理时间窗口将包括在系统时钟指示整小时之间到达的所有记录。例如,如果应用程序在上午 9:15 开始运行,则第一个小时处理时间窗口将包括上午 9:15 到上午 10:00 之间处理的事件,下一个窗口将包括早上 10:00 到上午 11:00 之间处理的事情,依此类推。 处理时间是最简单的时间概念,不需要流和机器之间的协调。它提供了最好的性能和最低的延迟。然而,在分布式和异步环境中,处理时间并不能提供确定性,因为它容易受到记录到达系统的速度、记录在系统内之间流动的速度等因素影响。

  • 事件时间(Event Time):

事件时间是每个单独事件在其产生设备上发生的时间。这个时间通常在记录进入 Flink 之前嵌入到记录中,并且可以从每个记录中提取该事件时间戳。在事件时间中,时间的进度取决于数据。事件时间程序必须指定 Watermark,这是通知事件时间进度的机制。这种 Watermark 机制将在下一节实验中进行描述。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/52257.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

程序员如何平衡日常编码工作与提升式学习?

引言 在如今这个技术飞速发展的时代,程序员不仅需要专注于完成日常的编码任务,还必须不断提升自己的技能,以应对行业的变化和个人职业发展的需求。然而,在高强度的工作环境中,找到时间进行学习是一项挑战。许多程序员陷入了这样的困境:一方面,日常的编码工作要求高效且…

苹果手机照片格式heic怎么改jpg?教你3招快速转换

苹果手机照片格式heic怎么改jpg?将苹果手机照片格式从HEIC转为JPG,在日常使用中带来了极大便利。HEIC格式虽高效节省空间,但兼容性不如JPG广泛。转为JPG后,照片能轻松在多数设备、软件和在线平台上分享、打印或编辑,无…

【论文阅读】A Closer Look at Parameter-Efficient Tuning in Diffusion Models

Abstract 大规模扩散模型功能强大,但微调定制这些模型,内存和时间效率都很低。 本文通过向大规模扩散模型中插入小的学习器(称为adapters),实现有效的参数微调。 特别地,将适配器的设计空间分解为输入位置、输出位置、函数形式的…

EmguCV学习笔记 VB.Net 第5章 图像变换

版权声明:本文为博主原创文章,转载请在显著位置标明本文出处以及作者网名,未经作者允许不得用于商业目的。 EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。 教程VB.net版本请访…

探索Python的自动化魔法:AutoIt库揭秘

文章目录 探索Python的自动化魔法:AutoIt库揭秘第一部分:背景介绍第二部分:AutoIt是什么?第三部分:如何安装AutoIt库?第四部分:AutoIt的五个简单函数第五部分:场景应用第六部分&…

Pod基础使用

POD基本操作 1.Pod生命周期 在Kubernetes中,Pod的生命周期经历了几个重要的阶段。下面是Pod生命周期的详细介绍: Pending(待处理): 调度: Pod被创建后,首先进入“Pending”状态。此时,Kubernetes的调度器…

云计算产业链图谱_产业链全景图_云计算行业市场分析

在产业数字化转型的背景下,云计算作为信息技术的重要组成部分,正逐渐成为各行业数字化、智能化转型的关键支撑。受益于5G、大数据、物联网、人工智能等技术的快速发展,云计算产业规模持续扩大,市场需求不断增长。云计算作为一种新…

C语言 | Leetcode C语言题解之第367题有效的完全平方数

题目&#xff1a; 题解&#xff1a; bool isPerfectSquare(int num) {long long left0;long long rightnum;while(left<right){long long mid(leftright)/2;long long ansmid*mid;if(ans<num){leftmid1;}else if(ans>num){rightmid-1;}else{return true;}}return…

书生模型实战L1---OpenCompass 评测

书生模型实战系列文章目录 第一章 入门岛L0&#xff08;Linux&#xff09; 第二章 入门岛L0&#xff08;python&#xff09; 第三章 入门岛L0&#xff08;Git&#xff09; 第四章 基础岛L1&#xff08;书生全链路开源介绍&#xff09; 第五章 基础岛L1&#xff08;Demo&#x…

打卡学习Python爬虫第五天|使用Xpath爬取豆瓣电影评分

思路&#xff1a;使用Xpath爬取豆瓣即将上映的电影评分&#xff0c;首先获取要爬取页面的url&#xff0c;查看页面源代码是否有我们想要的数据&#xff0c;如果有&#xff0c;直接获取HTML文件后解析HTML内容就能提取出我们想要的数据。如果没有则需要用到浏览器抓包工具&#…

【Oracle19c】手工数据统计信息并导入dmp数据

1、数据统计信息 1.设置并行收集 SQL> set timing on SQL> exec dbms_stats.set_global_prefs(CONCURRENT,TRUE);2.开始收集全库统计信息 begin dbms_stats.gather_database_stats(ESTIMATE_PERCENT>DBMS_STATS.AUTO_SAMPLE_SIZE, method_opt > for all indexed c…

网络初识部分

1.网络 单机时代-局域网时代-广域网时代-移动互联网时代 局域网时代&#xff1a;通过路由器把几个电脑连接起来。 广域网时代&#xff1a;把更多的局域网连接到一起&#xff0c;构成的网络更庞大&#xff0c;可能已经覆盖了一个城市/国家/全世界。 2.什么是路由器&#xff…

React Native中好用的UI组件库

文章目录 前言1.React Native ElementsStar数超24K地址 2.React Native UI KittenStar数超20K地址 3.NativeBaseStar数超20K地址 前言 下面是React Native中一些常用的UI库 1.React Native Elements Star数超24K 官方介绍 React Native Elements 的目标是提供一套用于在 Rea…

洛谷官方精选题单解析(持续更新~)

首页 - 洛谷 | 计算机科学教育新生态 https://www.luogu.com.cn/ 真题解析-CCF-GESP编程能力等级认证 https://gesp.ccf.org.cn/101/1010/index.html 我会陆续针对每一道题目发独立博客&#xff0c;剖析解题思路、知识点及代码。 目录 1、【入门1】顺序结构&#xff08;1…

Node.js自学速通---- 24-8-22 22-44

目录 一、安装 Node.js二、Node.js 的基本概念三、创建第一个 Node.js 应用四、使用模块五、创建 HTTP 服务器六、案例&#xff1a;文件服务器 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境&#xff0c;可以让 JavaScript 在服务器端运行。 一、安装 Node.js 打…

ORA-01950表空间使用权限报错排查

ORA-01950表空间使用权限报错排查 报错信息授权但是没用?到底谁没权限?报错信息 用户USER2对表USER1.T1本身有DML权限。 用户USER2往USER1的表T1插入数据报错 ORA-01950: Error : 1950, Position : 20, SQL = INSERT INTO USER1.T1 (L_DATE)VALUES (:1 ) RETURNING ROWID …

三维模型单体化软件:地理信息与遥感领域的精细化革命

在地理信息与遥感科学日新月异的发展浪潮中&#xff0c;单体化软件作为一股强大的驱动力&#xff0c;正引领着我们迈向空间信息处理与应用的新纪元。本文旨在深度解析单体化软件的核心价值、技术前沿、实践应用及面临的挑战&#xff0c;共同探讨这一技术如何塑造行业的未来。 …

Python生成JMeter测试脚本----HTTP信息头管理器和用户定义的变量

前言 之前的文章写了怎么用python生成JMeter脚本&#xff0c;生成了测试计划、线程组、Http监听器组件、响应断言、查看结果树、汇总报告、聚合报告、响应时间图。本篇内容接着讲怎么用python生成HTTP信息头管理器和用户定义的变量组件。 HTTP信息头管理器 信息头管理器的内…

client网络模块的开发和client与server端的部分联动调试

客户端网络模块的开发 我们需要先了解socket通信的流程 socket通信 server端的流程 client端的流程 对于closesocket()函数来说 closesocket()是用来关闭套接字的,将套接字的描述符从内存清除,并不是删除了那个套接字,只是切断了联系,所以我们如果重复调用,不closesocket()…

解决图片导入Excel后变成横向问题

最近有同事遇到图片打开的时候是竖向的&#xff0c;导入Excel后就变成横向了 我在网上搜了一下&#xff0c;没找到直接的答案 我猜大概是用了某些软件做处理&#xff08;例如压缩分辨率&#xff09;但是没处理干净 后来经过多次尝试&#xff0c;发现只要用windows自带的画图软件…