【大数据】Flink 架构(六):保存点 Savepoint

Flink 架构》系列(已完结),共包含以下 6 篇文章:

  • Flink 架构(一):系统架构
  • Flink 架构(二):数据传输
  • Flink 架构(三):事件时间处理
  • Flink 架构(四):状态管理
  • Flink 架构(五):检查点 Checkpoint(看完即懂)
  • Flink 架构(六):保存点 Savepoint

😊 如果您觉得这篇文章有用 ✔️ 的话,请给博主一个一键三连 🚀🚀🚀 吧 (点赞 🧡、关注 💛、收藏 💚)!!!您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容!!!

Flink 架构(六):保存点 Savepoint

  • 1.保存点的使用
  • 2.从保存点启动应用

Flink 的故障恢复算法是基于 状态的检查点 来完成的。检查点会周期性地生成,而且会根据配置的策略自动丢弃。检查点的目的是保证应用在出现故障的时候可以顺利重启,因此当应用被手动停止后,检查点也会随之删除(可以通过配置让应用在取消的时候 保留最近一次检查点)。但除了用于故障恢复,应用的一致性快照还有很多其他用途。

Flink 最具价值且独具一格的功能之一是 保存点。原则上,保存点的生成算法和检查点完全一样,因此可以把保存点看做包含一些额外元数据的检查点。保存点的生成不是由 Flink 自动完成,而是需要由用户(或外部调度器)显式触发。同时,Flink 也不会自动清理保存点。后续我们将介绍如何生成和删除保存点。

1.保存点的使用

给定一个应用和一个兼容的保存点,我们可以从该保存点启动应用。这样就能用保存点内的数据初始化状态并从生成保存点的那一刻继续运行应用。这个行为看上去和利用检查点将应用从故障中恢复完全一致,但其实故障恢复只是一种特殊情况,它会在完全相同的集群上,以完全相同的配置,运行完全相同的应用。而将应用从某个保存点启动还能让你做更多事情。

  • ✅ 从保存点启动一个不同但相互兼容的应用。这意味着你可以修复应用的一些逻辑 Bug,然后在数据流来源的支持范围内下尽可能多地重新处理输入事件,以此来修复结果。应用修改还可用于 A/B 测试或需要不同业务逻辑的假想场景。需要注意的是,应用和保存点必须相互兼容,只有这样应用才能加载保存点内的状态。
  • ✅ 用不同的并行度启动原应用,从而实现应用的扩缩容。
  • ✅ 在另一个集群上启动相同的应用。这允许你把应用迁移到一个新的 Flink 版本,或是一个不同的集群或数据中心。
  • ✅ 利用保存点暂停某个应用,稍后再把它启动起来。这样可以为更高优先级的应用腾出集群资源,或者在输入数据不连续的情况下及时释放资源。
  • ✅ 为保存点设置不同版本并将应用状态归档。

保存点的功能如此强大,以至于很多用户都会 周期性地创建保存点,从而可以及时 “回到过去”。我们在生态中见到保存点最有趣的应用之一是不断将流式应用迁移到实例价格最低的数据中心。

2.从保存点启动应用

所有之前提到的保存点相关用例都遵循同一个模式。首先为正在运行的应用生成一个保存点,然后在应用启动时用它去初始化状态。本节我们将介绍 Flink 在从保存点启动时如何去初始化应用状态。

每个应用都会包含很多算子,而每个算子又可以定义一个或多个的键值或算子状态。算子会在一个或多个任务上并行执行,因此一个典型的应用会包含多个状态,它们分布在不同 TaskManager 进程内的算子任务上。

下图所展示的应用包含了三个算子,每个算子各有两个任务。其中一个算子(OP-1)有一个算子状态(OS-1),另一个算子(OP-2)有两个键值分区状态(KS-1KS-2)。在生成保存点的时候,所有任务的状态都会拷贝到某个持久化存储位置上。

在这里插入图片描述
保存点中的状态副本会按照 算子标识状态名 称进行组织。该算子标识和状态名需要能将保存点的状态数据映射到应用启动后的算子状态上。当应用从保存点启动时、Flink 会将保存点的数据分发到对应算子的任务上。

❗ 注意:保存点没有包含 算子任务 的相关信息。这是因为任务数目可能会随着应用启动时所指定的并行度而改变。我们已经在之前的博客中讨论过 Flink 对于有状态算子的扩缩容策略。

如果应用在从保存点启动的时候发生过改动,那么保存点中的状态只有在应用还保留着那些含有对应标识和状态名称的算子时才可以成功映射。默认情况下,Flink 会给每个算子分配一个唯一标识。但该标识是根据前置算子的标识按照某种确定规则生成的。这意味着任何一个前置算子发生改变(例如添加或删除某个算子)都会导致该标识发生变化。因此使用默认算子标识的应用如果不想丢失状态,那么改动空间会比较有限。所以我们强烈建议手工指定算子标识,而不要依赖 Flink 的默认分配机制。有关分配算子标识的详细内容会在后续有关 “指定唯一算子标识” 的博客中介绍。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/654003.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

你这人能不能灵活点?前端代码简单优化一下?

公众号:程序员白特,可jia前端qun 背景 贴近目前公司的业务,做的增删改查比较多。基本上都是做一些表格的业务系统比较多,因此在写的过程中,都会遇到一些优化的细点,仅供参考,觉得好的可以采纳&a…

FairGuard游戏加固入选《CCSIP 2023中国网络安全行业全景册(第六版)》

2024年1月24日, FreeBuf咨询正式发布《CCSIP 2023中国网络安全行业全景册(第六版)》。本次发布的全景图,共计展示20个一级分类、108个细分安全领域,旨在为广大企业提供网络安全产品选型参考,帮助企业了解中国网络安全技术与市场的…

C++11——新的类功能与可变参数模板

系列文章目录 文章目录 系列文章目录一、新的类功能默认成员函数类成员变量初始化强制生成默认函数的关键字default禁止生成默认函数的关键字delete继承和多态中的final与override关键字 二、可变参数模板递归函数方式展开参数包逗号表达式展开参数包STL容器中的empalce_back与…

100天精通鸿蒙从入门到跳槽——第20天:ArkTS装饰器@Link双向数据绑定

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通Golang》 — Go语言学习之旅!《100天精通鸿蒙》 — 从Web/安卓到鸿蒙大师!100天…

免费分享一套微信小程序外卖跑腿点餐(订餐)系统(uni-app+SpringBoot后端+Vue管理端技术实现) ,帅呆了~~

大家好,我是java1234_小锋老师,看到一个不错的微信小程序外卖跑腿点餐(订餐)系统(uni-appSpringBoot后端Vue管理端技术实现) ,分享下哈。 项目视频演示 【免费】微信小程序外卖跑腿点餐(订餐)系统(uni-appSpringBoot后端Vue管理端技术实现)…

【开源】基于JAVA语言的毕业生追踪系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 登陆注册模块2.2 学生基本配置模块2.3 就业状况模块2.4 学历深造模块2.5 信息汇总分析模块2.6 校友论坛模块 三、系统设计3.1 用例设计3.2 实体设计 四、系统展示五、核心代码5.1 查询我的就业状况5.2 初始化就业状况5.…

SSL加密证书免费申请

首先,让我们来了解一下SSL证书的基本作用。SSL证书通过公钥和私钥的非对称加密技术,使得服务器与浏览器之间的通信内容得到高强度加密,同时验证网站的真实身份,从而提升用户的信任度,也是搜索引擎排名优化的一个重要因…

Idea设置代理后无法clone git项目

背景 对于我们程序员来说,经常上github找项目、找资料是必不可少的,但是一些原因,我们访问的时候速度特别的慢,需要有个代理,才能正常的访问。 今天碰到个问题,使用idea工具 clone项目,速度特…

2.【Vue3】Vue 基本使用——局部使用Vue

文章目录 1. 快速入门2. 常用指令2.1 v-for2.2 v-bind2.3 v-if 与 v-show2.4 v-on2.5 v-model 3. 生命周期4. Ajax 函数库 Axios4.1 Axios 基本使用4.2 Axios 请求方式别名 1. 快速入门 现在需要将 “hello vue3” 这样一个字符串渲染到页面上进行展示。 这个需求并不陌生&…

Vue-Cli3 - 从安装 nodejs 配置环境 ~ 搭建 cli 脚手架项目全过程

目录 前言提示 一、安装 & 配置 nodejs 1.1、安装 nodejs 1.2、配置必要目录 1.3、配置环境变量 1.4、测试 安装&配置 是否成功 1.5、安装淘宝镜像 1.5、cnpm 安装(推荐安装) 二、vue-cli3 创建项目 2.1、vue-cli2 和 vue-cli3 主要区…

C语言——N / 自定义类型:联合和枚举

目录 一、联合体 1、联合体类型的声明 2、联合体的特点 3、相同成员的结构体和联合体对比 4、联合体大小的计算 5、联合的一个练习 二、枚举类型 1、枚举类型的声明 2、枚举类型的优点 3、枚举类型的使用 一、联合体 1、联合体类型的声明 像结构体⼀样,…

批量导出域控用户及其所在OU和组

在Windows域环境中,批量导出域控用户及其所在OU(组织单位)和组成员身份信息,可以使用PowerShell脚本实现。以下是一个基本的示例脚本: Import-Module ActiveDirectory# 遍历所有用户 Get-ADUser -Filter * -Propertie…

GitLab16.8配置webhooks、Jenkins2.4配置GitLab插件实现持续集成、配置宝塔面板实现持续部署(其三)

看本篇文章的前提是已经部署完GItlab和Jenkins服务器,已经可以手动构建成功,并且经过了很多次实践,对这两款软件基本熟悉。 建议大家按以下顺序看 前端自动化(其一)部署gitlab 前端自动化(其二&#xff0…

05.领域驱动设计:认识领域事件,解耦微服务的关键

目录 1、概述 2、领域事件 2.1 如何识别领域事件 1.微服务内的领域事件 2.微服务之间的领域事件 3、领域事件总体架构 3.1 事件构建和发布 3.2 事件数据持久化 3.3 事件总线 (EventBus) 3.4 消息中间件 3.5 事件接收和处理 4、案例 5、总结 1、概述 在事件风暴&a…

百川智能发布超千亿大模型Baichuan 3

1月29日,百川智能发布超千亿参数的大语言模型Baichuan 3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan 3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表现出…

【Delphi】系统菜单中增加菜单项

目录 一、问题提出 二、程序截图 ​编辑 ​编辑 三、程序代码: 一、问题提出 我们在开发windows程序的时候,可能会希望在窗体的系统菜单中增加一个菜单项,那么如何实现呢,实际上通过调用windows API是可以实现的,…

go学习之air库的使用

首先下载air库 go install github.com/cosmtrek/air之后你需要去找到库下载的地方,若使用的是go mod可以使用命令 go env GOPATH找到下载库的位置 进入后,有bin,pkg目录,进入bin目录,你能看到air.exe文件 这时候将此…

备战蓝桥杯---二分(入门)

话不多说,先来个模板题来回顾一下上次讲的: 下面是AC代码: 下面进入正题: 本题对1,2行与3,4行组合,再用二分查找即可实现n^2logn的复杂度。 下面是AC代码: 接题: 让我们…

【更新】中国各省市是否属于“宽带中国”试点及“千兆城市”DID数据(2010-2023)

一、数据介绍 数据名称:【更新】中国各省市是否属于“宽带中国”试点及“千兆城市”DID数据 数据范围:全国所有地市 数据年份:2010-2023年 数据来源: “宽带中国”试点城市,来自工信部和国家发改委在2014年、2015…

幻兽帕鲁个人服务器怎么创建?

成功创建幻兽帕鲁服务器教程分享,阿里云和腾讯云均可以,总花费32元即可获得一台换手帕服务器4核16G配置,32人幻兽帕鲁服务器,阿腾云atengyun.com分享当前头部云厂商的Palworld服务器搭建教程,亲测可以! 阿…