flink学习-容错机制

checkpoint(检查点)

在flink中最重要的容错机制,就是checkpoint机制,使用checkpoint可以将之前某个时间点的所有的状态进行保存,这个存档就是checkpoint。

检查点的保存

周期性存储保存,间隔时间可以由用户进行指定。
保存时间点应该是整体处理完某一条数据处理完,将这个时间点的状态保存下来。

检查点恢复状态

当发生故障时,需要找到最近一次成功保存的检查点进行数据恢复。

检查点算法

在flink中,采用Channdy-Lamport 算法的分布式快照,可以在不暂停流处理的前提下,经状态备份保存到检查点。
借鉴水位线设计,插入一个特殊数据结构,表示触发检查保存的时间点,算子遇到后就对当前算子内状态进行持久化保存。
在JobManager中有个『检查点协查器』,用以专门协调处理检查点的相关工作。
分布式快照算法
barrier对齐的精准一次
barrier对齐的至少一次
非barrier对齐的精准一次

checkpoint 常用配置

主要是在设置检查点时需要设置周期,已经模式(例如采用精准一次)
超时时间(默认10分钟)
指定检查存储路径
最大checkpoint并发数
最小等待时间间隔
最小等待间隔(上一轮checkpoint结束到下一轮checkpoint开始间的间隔)
取消作业时,checkpoint的数据是否保留在外部系统
允许checkpoint连续失败的次数
非对齐检查点设置后将会自动设置为精准一次。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/26431.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

游戏报错steam_api.dll丢失怎么解决?steam_api.dll缺失的7种靠谱解决方法

steam_api.dll 是一个由 Valve Corporation 开发的动态链接库文件,专门用于其 Steam 游戏平台。这个文件是 Windows 操作系统下的一个重要组件,它确保了通过 Steam 平台发布的游戏能够正常运行,并且能够使用 Steamworks API 提供的各种功能。…

TIA博途Wincc_如何实现开机画面等待几秒后,自动跳转到主画面?

TIA博途Wincc_如何实现开机画面等待几秒后,自动跳转到主画面? 想要实现的功能: 上电开机后,在开机画面等待几秒后,自动跳转到主画面, 如下图所示,新建一个项目后,添加一个开机画面和主画面 如下图所示,在HMI变量中添加一个int型变量BitTime, 如下图所示,设置该变量…

怎么把pdf格式文件其中几页单独弄出来

在现代办公和学习环境中,pdf格式的文件因其跨平台兼容性和良好的保持原样特性而备受欢迎。然而,有时我们可能只需要pdf文件中的某几页,而不是整个文件。这时,将PDF文件中的特定页面单独提取出来就显得尤为重要。 搜索一下&#xf…

IDEA 高效插件工具

文章目录 LombokMaven Helper 依赖冲突any-rule(正则表达式插件)快速生成javadocGsonFormat (Aits) 将json解析成类Diagrams使用 类图SequenceDiagram时序图GenerateAllSetter(AltEnter)大小写转写String ManipulationGitToolBox 代码提交人activate-pow…

Flutter- AutomaticKeepAliveClientMixin 实现Widget保持活跃状态

前言 在 Flutter 中,AutomaticKeepAliveClientMixin 是一个 mixin,用于给 State 类添加能力,使得当它的内容滚动出屏幕时仍能保持其状态,这对于 TabBarView 或者滚动列表中使用 PageView 时非常有用,因为这些情况下你…

诊所管理系统如何重塑患者就医流程

随着信息技术的快速发展,诊所管理系统的应用正在为医疗服务带来革命性的变化。这一系统不仅仅是一种管理工具,更是一种全方位的健康管理解决方案,从诊前、诊中到诊后,为患者提供了一系列便捷、高效的服务,让患者的就医…

Oracle数据库面试题-12

41. 描述Oracle中的位图索引及其用途。 Oracle中的位图索引: 位图索引是Oracle数据库中的一种特殊类型的索引,它适用于包含大量重复值的列。位图索引使用位图数据结构来存储这些值,从而提供了一种快速查找特定值是否存在于索引列中的方法。…

信息收集---网站目录和CMS指纹识别

一. 网站目录收集 1. 常见网站敏感文件 网站的备份文件/数据库备份文件 wwwroot.zip Db.zip 后台登陆的目录 manage login 安装包(源码) 上传的目录uploads mysql的管理界面 phpmyadmin 程序的安装路径 2. Dirb 工具 工具介绍 dirb 是一款用…

ICC2:如何获取get_xx -filter后可用的属性有哪些?

我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧? 拾陆楼知识星球入口 report_attribute -app -class cell $instname 这种直接告诉你指定cell有哪些属性,以及对应的值是什么 或者直接用list_attribute也可以 list_attribute -help可以…

迅为3A6000_7A2000开发板龙芯全国产处理器LoongArch架构核心主板

性能强→采用全国产龙芯3A6000处理器,基于龙芯自主指令系统(LoongArch)的LA464微结构,并进一步提升频率,降低功耗,优化性能。 桥片→采用龙芯 7A2000,支持PCIE3.0、USB3.0和 SATA 3.0、显示接口2 路、HDMI和1路 VGA&a…

编程猫电脑怎么安装不了:深入剖析原因与解决方案

编程猫电脑怎么安装不了:深入剖析原因与解决方案 在数字化时代的浪潮中,编程教育日益受到重视,而编程猫作为一款备受欢迎的编程学习软件,却在安装过程中遭遇了不少困扰。今天,我们就来深入剖析编程猫电脑版安装不了的…

积累和消耗,人生本质的两件事

人生的本质其实就两件事,消耗和积累。 纵观你身边所有的人,他们做的所有的事,基本都可以分为两类。 一、积累 二、消耗 比如说感情,在我们每一个人的青春回忆里,都或多或少有一段刻骨铭心的感情,有些人的感…

Linux进程间通信---使用【共享内存+信号量+消息队列】的组合来实现服务器进程与客户进程间的通信

IPC结合实现进程间通信实例 下面将使用【共享内存信号量消息队列】的组合来实现服务器进程与客户进程间的通信。 共享内存用来传递数据;信号量用来同步;消息队列用来 在客户端修改了共享内存后通知服务器读取。 server.c:服务端接收信息 …

如何解除内存卡的写保护并格式化为exFAT文件系统

最近有客户提问内存卡提示写保护,且无法格式化为exFAT格式的问题,可能是由于多种原因引起的。以下是一些可能的解决方法: 1. 检查物理写保护开关 一些SD卡和MicroSD卡适配器上有一个小的物理开关,可以启用或禁用写保护。确保这个…

C# WPF 读写CAN数据

C# WPF 读写CAN数据 CAN 分析仪 分析仪资料下载 官方地址:https://www.zhcxgd.com/1.html CSDN: 项目配置 复制Dll库文件 文件在上面的资料里面 设置不安全代码 CAN C#工具类 CAN_Tool.cs using Microsoft.VisualBasic; using System; using Sys…

任务3.8.2 利用RDD计算总分与平均分

实战:使用RDD 计算学生成绩的总分与平均分 项目背景 本项目旨在利用 Apache Spark 的强大数据处理能力,对存储在 HDFS 上的学生成绩文件进行处理,计算每个学生的总分和平均分。 项目目标 读取存储在 HDFS 上的成绩文件。计算每个学生的总…

MySQL 触发器(实验报告)

一、实验名称: 触发器 二、实验日期: 2024 年 6月 8日 三、实验目的: 掌握MySQL触发器的创建及调用; 四、实验用的仪器和材料: 硬件:PC电脑一台; 配置:内存,…

学习笔记丨嵌入式BI分析的12个关键功能

编者注:以下内容节选编译自嵌入式分析厂商Qrvey发表的《What is Embedded Analytics?》(什么是嵌入式分析)一文,作者为Qrvey产品市场主管Brian Dreyer。 什么是嵌入式分析? 嵌入式分析是指能够将数据分析的特性和功…

编程里len是什么意思:深度解析与应用探讨

编程里len是什么意思:深度解析与应用探讨 在编程的世界中,每一个函数和操作符都承载着特定的意义和功能。其中,len 作为一个常见的函数,在多种编程语言中都扮演着重要的角色。那么,len 到底是什么意思呢?本…

用ChatGPT 4o画漂亮的燃尽图代码

把代码给ChatGPT,然后他就会帮我生成出来了。 而且图是动态的,可以调整颜色文字之类的内容 # Given data for Sprint 5 Progress data_sprint_5 {User Story: [BEAN-40, BEAN-42, BEAN-41, BEAN-22, BEAN-33, BEAN-44, BEAN-10, BEAN-26, BEAN-37, BEA…