Flink run 自动化运行任务shell脚本

Linux命令行:

sh flink_run.sh test com.dzj.app.base.test.FlinkKafkaOffsetTest /root/soft/test.jar

flink_run.sh脚本内容:

#!/bin/bash# 检查参数数量是否正确
if [ "$#" -ne 3 ]; thenecho "错误:需要提供 3 个参数"exit 1
else# 打印所有输入参数echo "输入参数数量:$#"echo "输入参数列表:$@"
fi# 打印每个参数
echo "第一个参数 -ynm:$1"
echo "第二个参数 -c:$2"
echo "第三个参数 jar:$3"# 获取所有正在运行的 YARN 任务
running_tasks=$(yarn application -list | grep RUNNING)# 检查是否有名为 $1 的任务
if echo "$running_tasks" | grep -q "$1"; then# 如果找到了名为 $1 的任务echo "Yarn-Cluster此运行任务已在运行:Found '$1' task running"exit 0
else# 如果没有找到名为 $1 的任务,返回 0echo "Yarn-Cluster未找到此运行任务:No '$1' task running"# 获取 /flink/checkpoint/$1/ 目录下最新修改的文件夹latest_folder=$(hdfs dfs -ls /flink/checkpoint/$1/ | grep '^d' | awk '{print $6, $7, $8}' | sort -k1,1 -k2,2 | tail -1 | awk '{print $3}')latest_ckpt_folder=$(hdfs dfs -ls $latest_folder | grep '^d' | awk '{print $6, $7, $8}' | sort -k1,1 -k2,2 | tail -1 | awk '{print $3}')# 检查是否找到最新文件夹的路径if [ -z "$latest_ckpt_folder" ]; thenecho "未找到最新的checkpoint路径No ckpt_folder in: /flink/checkpoint/$1/"# 替换命令中的 -s 参数为最新文件夹的路径flink_command="flink run -d -m yarn-cluster -ynm $1 -c $2 $3"else# 返回最新修改的文件夹名echo "最新的checkpoint路径Latest ckpt_folder: $latest_ckpt_folder"# 替换命令中的 -s 参数为最新文件夹的路径flink_command="flink run -s hdfs://172.29.105.99:8020$latest_ckpt_folder -m yarn-cluster -ynm $1 -c $2 $3"fi
fi# 执行命令
echo "Flink执行命令Executing command: $flink_command"
eval $flink_command

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/22210.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot+layui实现Excel导入操作

excel导入步骤 第三方插件引入插件 效果图 (方法1)代码实现(方法1)Html代码( 公共)下载导入模板 js实现 (方法1)上传文件实现 效果图(方法2)代码实现&#xf…

多语言大模型 Aya-23 开源!覆盖23种语言,性能刷新SOTA

文章目录 1. Aya-23 技术特点1.1 预训练阶段1.2 指令微调阶段 2. Aya-23 性能表现3. Aya-23 多语言任务评估4. Aya-23 支持 23 种语言5. Aya-23 应用场景 近年来,多语言大模型(MLLM)发展迅速,但大多数模型的性能依然存在显著差距&…

“滴滴打车,用友入账”,YonSuite商旅费控助力企业“降低成本”更进一步

在当今竞争激烈的商业环境中,企业对于成本控制和效率提升的需求日益迫切。特别是在商旅管理方面,如何有效整合资源、优化流程、降低费用,成为了成长型企业关注的焦点。用友YonSuite商旅费控作为用友集团旗下的重要产品,凭借其卓越…

ctfshow pwn17-18

毛坯的人生和精装的朋友圈 pwn17 while ( 1 ){menu();v4 0;puts("\nEnter the command you want choose:(1.2.3.4 or 5)\n");__isoc99_scanf("%d", &v4);switch ( v4 ){case 1:system("id");break;case 2:puts("Which directory?(/,…

克隆别人的项目并上传到自己的仓库

克隆别人的项目并上传到自己的仓库通常涉及以下步骤: 克隆项目:首先,你需要将别人的项目克隆到你的本地计算机。可以使用以下Git命令: git clone [项目的URL]将 [项目的URL] 替换为你想克隆的项目的URL。 创建新的仓库&#xff1…

卡尔曼滤波算法的matlab实现

卡尔曼滤波算法的matlab实现 figure; hold on;Z(1:1:100); %观测值:第一秒观测1m 第二秒观测两米 匀速运动, 每秒1m, 最后拟合的也是速度 1m/splot(Z); plot([0,100], [1,1]);noiserandn(1,100)*0.5; %生成方差为1的高斯噪声 ZZnoise; % 加入噪声plot(Z);X[0;…

LabVIEW动态力传感器校准系统

LabVIEW动态力传感器校准系统 开发了一种基于LabVIEW的动态力传感器校准系统。系统主要用于动态力的测量和校准,通过高度集成化和自动化的设计,显著提升校准的效率和精确度。系统采用冲击法进行动态校准,涵盖了完整的硬件设计和软件开发流程…

Kotlin 注解

文章目录 定义注解类的注解标注目标声明 定义 注解使用annotation关键字定义,且只能用于普通类,该类被称为注释类。可以使用注释类为某个变量、函数、类、接口等注释。与我们写的代码注释类似,注释类可以指明被标注类的状态、作用等等&#…

智能体应用开发:构建各类垂直领域的ai智能体应用

最近在做个类似的项目,有用到这方面的知识,顺便做一些记录和笔记吧,希望能帮到大家了解智能体应用开发 目录 引言 AI原生应用的兴起 智能体在AI中的角色 实现原理详解 机器学习基础 数据管理与关联数据库 数据结构 Embedding 检索方…

Pytorch实用教程:torch.cat()函数的用法详解

torch.cat 是 PyTorch 中用于沿指定维度连接张量的函数。以下是该函数的详细用法: 语法 torch.cat(tensors, dim=0, *, out=None)参数说明 tensors (sequence of Tensors): 要连接的张量序列。这些张量必须具有相同的形状(除了连接的维度)。dim (int, optional): 沿着哪个…

卫星位置解算

前言: 本章节代码均在Gitee中开源: 卫星位置计算代码https://gitee.com/Ehundred/navigation-engineering/tree/master/%E5%8D%AB%E6%98%9F%E5%AF%BC%E8%88%AA%E5%8E%9F%E7%90%86/GPS%E5%8D%AB%E6%98%9F%E4%BD%8D%E7%BD%AE%E8%A7%A3%E7%AE%97/Satellit…

SAP物料自动记账科目设置总结

SAP物料自动记账科目设置总结 目录 物料自动记账科目设置总结... 1 总体说明... 1 库存移动事务类型的设置... 4 库存科目设置... 6 期初导入... 6 业务举例... 6 配置... 6 库存初始单据... 7 采购收货(缺少到票) 8 业务举例... 8 配置... 8 采购收货单据-MIGO_GR…

心怀希望の光栅化

还记得什么是光栅化咩? 将三维空间的几何形体显现在屏幕上,这就是光栅化(游戏、实时图形学的应用) Perspective Projection 在正交投影里如何定义三维空间中的立方体呢? 用x轴的覆盖(左、右)…

【UML用户指南】-02-UML基本元素的介绍(二)

目录 1、语法和语义规则 2、UML中的公共机制 (1)规约 (2)修饰 (3)通用划分 (4)扩展机制 衍型/版型/类型(stereotype) 标记值 (tagged val…

Java编程常见问题汇总四

系列文章目录 文章目录 系列文章目录前言一、忽略所有异常二、重复包装RuntimeException三、不正确的传播异常四、用日志记录异常五、异常处理不彻底 前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。…

[C/C++]_[初级]_[在Windows和macOS平台上导出动态库的一些思考]

场景 最近看了《COM本质论》里关于如何设计基于抽象基类作为二进制接口,把编译器和链接器的实现隐藏在这个二进制接口中,从而使用该DLL时不需要重新编译。在编译出C接口时,发现接口名直接是函数名,比如BindNativePort,怎么不是_BindNativePort?说明 VC++导出的函数默认是使…

专转本英语应该怎么学?

来吧,宝子们,学姐给你们分享专转本英语如何备考的方法了,单词+语法,两不耽误,快拿着你们的小手来截图记笔记啦~ 1、基础差直接背单词 对于基础差的人呢,本身我们对英语这个科目就不感…

Google Earth Engine精度评价方法

今天讲讲如何在GEE中做最后的精度评价。主要是因为在和许多读者或通过交流群,或通过私聊沟通过程中,发现很多人还不是很理解在GEE中分类后精度评价的问题。 在进行评价之前,需要明晰在GEE中精度评价分为哪几种情况。我们这里说的是两种情况。…

收藏品NFT的开发流程

开发收藏品NFT的流程涉及多个阶段,从概念化和设计到技术实现和市场推广。以下是详细的开发步骤,通过这些步骤,可以成功开发和发布收藏品NFT项目,吸引用户和投资者,并确保项目的持续运营和成功。北京木奇移动技术有限公…

Fiddler入门(接口抓包及APP测试)

目录 一、Fiddler基础介绍 二、Fiddler的作用 三、Fiddler安装 四、Fiddler界面功能介绍 1、界面介绍 1)、菜单栏介绍 2)、工具栏介绍 3)、会话栏介绍 五、Fiddler抓取https数据 (面试题) 六、Fiddler…