文章目录
- 停止 Yarn 集群中的 Spark 应用
- 提交 Spark 应用到 YARN
✔️ 目标:提供 Jenkins 脚本,用于 在 Jenkins 中实现 Spark 任务提交到 YARN 及重启操作。
停止 Yarn 集群中的 Spark 应用
Shell 脚本:
# 停止spark应用(仅支持一个yarn应用,如果跑了多个应用,会报错)
ssh root@192.168.1.100 "yarn application -list > current_spark_task; cat current_spark_task | grep -o -e ^application_.*_[0-9]* | xargs --no-run-if-empty yarn application -kill"
基础知识:
1、 利用 yarn application -list 打印出正在运行的任务,得到 Application ID。