flink学习-状态管理

状态管理

在flink中,算子可以分为无状态和有状态两种情况。
无状态的算子只需要观察每个独立事件,根据当前输入的数据直接输出结果。像:filter、flatMap、map都属于无状态的算子。
有状态的算子则是除当前数据之外,还需要一些其他数据来计算结果。这里说的其他数据其实就是指状态,聚合算子,窗口算子都应该算是有状态的算子。
状态也可以分为两种,一种是算子状态,一种是按键分区状态(只有进行key 进行分组的)

按键分区状态

  1. 值状态
    值状态就是状态中只保存一个值
  2. 列表状态
    用List的形式存储状态,主要有的方法:get(获取列表状态,返回值迭代类型);update(更新list状态)、add(添加一个元素)、addAll(添加多个)、clear(清空)
  3. Map状态
    用map形式存储状态。
  4. 规约状态
  5. 聚合状态

状态生存时间

因为状态如果长时间保存会导致存储耗尽,通过设置状态的ttl,可以自动清除没有用的状态,当状态在内存中存在的时间超过这个值,就将它清除。

算子状态

在算子状态中,一个子任务就是一个整体
主要几种类型:列表状态、联合列表状态、广播状态
在算子状态中可以进行初始化后,进行持久化防止异常退出时丢失算子状态,
列表状态和联合列表状态区别在于:并行度改变后如何重新分配,list状态:轮询均分给新的并行子任务;unionlist状态:原先多个子任务的状态,合并成一份完成的,分配给每个新的算子一整份。
广播状态:可以作为配置流进行配置,可以实时修改配置。

状态后端

状态后端分类
HashMapStateBacked (哈希表状态后端,使用内存,保存在TaskManager JVM堆,默认使用)
EmbeddedRocksDBStateBackend(内嵌RocksDB状态后端,kv存储,持久化到磁盘,数据存储需要序列化)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/27134.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

openstack删除实例卡死在正在删除中

删除实例 问题描述解决办法 实验环境;服务器,openstackY版 问题描述 openstack在删除实例时一直显示正在删除中 解决办法 进入数据库修改实例状态,修改为错误,然后重新删除 首先查看对应实例id 进入数据库修改 rootcompute:~…

盘点:支持国产化信创的项目管理软件有哪些?

对于个人或者预算充足的团队来说,找到一个靠谱、好用的项目管理软件是一件很有必要的事情,那么目前国内有哪些【国产化信创】的项目管理软件值得选择呢? 下面盘点10款,每一款都独具特色。 1、国产化项目管理软件,可灵活…

工具:安装R语言的R包的各种方法

欢迎大家关注全网生信学习者系列: WX公zhong号:生信学习者Xiao hong书:生信学习者知hu:生信学习者CDSN:生信学习者2 介绍 R语言提供的大量R包为众多研究者提供了足够的工具,但是如何安装R包是很多人在使…

医疗图像自动轮廓勾画

医疗图像自动轮廓勾画(也称为自动分割)是一个重要的任务,旨在从医学影像数据中自动提取出感兴趣的解剖结构或病变区域。这项技术在医学诊断、治疗规划和随访中起着至关重要的作用。 文末附基于Keras和TensorFlow的示例代码,用于使用U-Net进行医疗图像自动轮廓勾画代码。 …

Ubuntu server 24 (Linux) 新增磁盘 lvm 动态扩容磁盘空间

1 新增一块硬盘 #查看 sudo fdisk -l #重新分区,转换成lvm类型 sudo fdisk /dev/sdb 2 查看磁盘 df -h3 lvm 配置 #查看lvm逻辑卷 sudo lvdisplay #创建物理卷 sudo pvcreate /dev/sdb1 #扩展卷组 sudo vgextend ubuntu-vg /dev/sdb1 #扩展逻辑卷 sudo lvexte…

linux网络编程poll笔记

poll函数执行的时候具体做了啥? 代码示例: // ....... struct pollfd fds[1024] {0}; fds[sockfd].fd sockfd; fds[sockfd].events POLLIN;int maxfd sockfd; while(1) {int nready poll(fds, maxfd1, -1);// ...... } //....... 1. poll中会…

vue2中使用el-table实现直接编辑表格,鼠标点击空白处实现保存并传递给后端的简单方法

<el-table-column prop"remark" width"120px" label"备注" align"center"><template slot-scope"scope"><span v-if"!scope.row.setingFlag" click"handleEdit(scope.row)">{{scope.…

超声波眼镜清洗机有用吗?四大王牌巅峰超声波清洗机推荐!

在市场上&#xff0c;有很多种家用眼镜超声波清洗机可供选择。但是并不是所有超声波眼镜清洗机清洗的效果都是好的&#xff0c;很多不了解超声波清洗机的朋友容易盲目跟风或者在商家无脑吹的大功率清洗的情况下选择哪些所谓好用的产品&#xff0c;最后却导致踩雷&#xff01;所…

孩子小学毕业了

难说再见 时间已到眼前 一张张照片 模糊了我双眼

怎么脚本ai创作?分享三个方法

怎么脚本ai创作&#xff1f;在数字化时代&#xff0c;AI技术正逐渐渗透到我们生活的方方面面&#xff0c;其中AI脚本创作软件的出现&#xff0c;极大地提高了创作效率&#xff0c;降低了创作门槛。今天&#xff0c;就为大家推荐三款备受好评的AI脚本创作软件&#xff0c;其中聪…

【WEB前端2024】3D智体编程:乔布斯3D纪念馆-第40课-实时订阅后端数据

【WEB前端2024】3D智体编程&#xff1a;乔布斯3D纪念馆-第40课-实时订阅后端数据 使用dtns.network德塔世界&#xff08;开源的智体世界引擎&#xff09;&#xff0c;策划和设计《乔布斯超大型的开源3D纪念馆》的系列教程。dtns.network是一款主要由JavaScript编写的智体世界引…

Elastic 索引结构-倒排索引

前言 Elastic 在数据库分类中一般被分为全文检索的数据库&#xff0c;那为什么这么区分呢&#xff1f;主要是因为其独特的索引结构 即倒排索引。 倒排索引 倒排索引先将文档中包含的关键字全部提取出来&#xff0c;然后再将关键字与文档的对应关系保存起来&#xff0c;最后再…

技术应用:使用Spring Boot和Vue.js构建前后端分离的JWT认证应用

导语&#xff1a; 在当前的软件开发领域&#xff0c;前后端分离的架构已经成为了主流。结合Spring Boot和Vue.js这两个流行的框架&#xff0c;我们可以轻松地构建出强大而现代的Web应用。本文将深入探讨如何使用Spring Boot和Vue.js构建一个前后端分离的JWT认证应用&#xff0c…

OpenStack入门初体验

云计算概述 概念 侠义的云计算是指IT基础设施的交付和使用模式广义的云计算是指服务的交付和使用模式云计算资源 网络资源存储资源计算资源 云计算的服务模型 IaaS&#xff08;基础架构即服务&#xff09; IaaS 提供最底层的 IT 基础设施服务&#xff0c;包括处理能力、存储…

如何把路由器设备的LAN口地址为三大私网地址

要将路由器的LAN口地址配置为三大私有IP地址范围之一&#xff08;10.0.0.0/8、172.16.0.0/12 或 192.168.0.0/16&#xff09;&#xff0c;我们需要访问路由器的管理界面并进行相应的设置。 下面是步骤&#xff1a; 连接到路由器&#xff1a; 连接到路由器的管理界面&#xf…

Spring中对没有实现类的接口进行曾强

说明 对没有实现类的接口进行增强&#xff0c;此场景在Spring中比较常见。最典型的两个就是Mybatis和feign的调用。其主要是通过FactoryBean实现的。 实现 通过实现BeanDefinitionRegistryPostProcessor进行指定路径下包的扫描. Component Slf4j public class MyBeanDefini…

Flyway支持多数据源

考虑分库分表的场景下&#xff0c;如何实现通过Flyway在多数据源时做数据库版本更新。 实现方案 首先&#xff0c;关闭Flyway自动配置 spring:flyway:#关闭flyway自动配置&#xff0c;自定义实现enabled: false 其次&#xff0c;配置数据库多数据源 datasource:# 主库数据…

Android 列表视频滑动自动播放(实现思路)

1、列表&#xff08;RecyclerView&#xff09;中内容包含视频&#xff0c;列表在快速滑动时候&#xff0c;如果每个视频自动播放&#xff0c;会导致页面卡顿。我们优化思路&#xff0c;通过监听RecyclerView滑动状态&#xff0c;来实现当停止滑动时候&#xff0c;来播放视频 滑…

探索服务器硬件:理解基础组件及其重要性

在现代IT基础设施中&#xff0c;服务器扮演着至关重要的角色。无论是托管网站、管理数据、运行应用程序还是提供各种在线服务&#xff0c;服务器硬件的性能和稳定性都是确保这些任务顺利进行的关键。本文将介绍服务器硬件的基本组件及其功能&#xff0c;以帮助读者更好地理解和…

Keepalived LVS群集

一、Keepalived案例分析 企业应用中&#xff0c;单台服务器承担应用存在单点故障的危险 单点故障一旦发生&#xff0c;企业服务将发生中断&#xff0c;造成极大的危害 二、Keepalived工具介绍 专为LVS和HA设计的一款健康检查工具 支持故障自动切换&#xff08;Failover&#…