云原生离线工作流编排利器 -- 分布式工作流 Argo 集群

作者：庄宇

在现代的软件开发和数据处理领域，批处理作业（Batch）扮演着重要的角色。它们通常用于数据处理，仿真计算，科学计算等领域，往往需要大规模的计算资源。随着云计算的兴起，阿里云批量计算和 AWS Batch 等云服务提供了管理和运行这些批处理作业的平台。

随着云原生和 Kubernetes 生态的发展，越来越多的应用运行在 Kubernetes 之上，例如在线应用，中间件，数据库。那对离线任务和批量计算是否可以在 Kubernetes 这个统一平台之上运行，答案是肯定的，分布式工作流 Argo 集群 [ 1] ，基于开源 Argo Workflows [ 2] 项目，完全符合开源工作流标准，可以编排和运行离线任务和批量计算，并使用 Serverless 方式运行，降低运维复杂度，节省运行成本。

通过分布式工作流 Argo 集群，您可以轻松编排工作流，每个工作流步骤使用容器运行，可以在短时间内轻松运行大规模机器学习、仿真计算和数据处理等计算密集型作业，也可以快速运行 CI/CD 流水线。

图片

本文介绍主流 Batch 批量计算系统和分布式工作流 Argo 集群的区别，并讨论如何将离线任务和批量计算迁移到分布式工作流 Argo 集群。

Batch 批量计算的相关概念

图片

作业（Jobs）

一个任务单元（例如 shell 脚本、Linux 可执行文件或 Docker 容器镜像），可以提交给 Batch 批量计算系统，批量计算系统会在计算环境中分配计算资源并运行作业。

Array Jobs

Array Job 是指一系列相似或相同的作业（Jobs），这些作业作为一个数组批量提交并运行。每一个作业都有相同的作业定义，但可以通过索引来区分，每个作业实例处理不同的数据集或执行稍有差异的任务。

作业定义（Job Definitions)

作业定义指定了作业的运行方式。运行作业前需要先创建作业定义。作业定义一般包含：作业运行所使用的镜像，具体命令与参数，需要的 CPU/Memory 资源，环境变量，磁盘存储等。

作业队列（Job Queues）

向 Batch 批量计算系统提交作业时，会提交到指定的作业队列中排队，直到被调度运行。作业队列可以设置优先级，并指定关联的计算环境。

计算环境（Compute Environment）

计算环境是一组计算资源，可以运行作业。对计算环境需要指定虚拟机的机型，环境的最小、最大 vCPU 数量，以及 Spot 竞价实例的价格。

总结

  1. 用户需要学习 Batch 批量计算作业定义规范与用法，有厂商绑定风险；

  2. 还需要管理计算环境，设置机型和规模等，非 Serverless 方式，运维高；

  3. 由于计算环境规模的限制，需要管理作业队列以设置作业的优先级，复杂度高。

分布式工作流 Argo 集群的相关概念

图片

模版（Templates）

模版定义了一个任务（作业），是工作流的组成部分，一个工作流至少要包含一个模版。模版中包含要运行的 Kubernetes 容器和相应的输入输出参数。

工作流（Workflows）

工作流包含一个或者多个任务（模版），并可以编排多个任务，支持定义复杂的任务流程，如序列化、并行化任务，以及在条件满足时执行特定的任务。创建工作流后，工作流中的任务，会在 Kubernetes 集群中以 Pod 形式运行。

工作流模版（Workflow Templates）

工作流模版是可复用的工作流的静态定义，类似于函数，可以在多个工作流中被引用并运行。在定义复杂工作流时可以复用已有的工作流模版，减少重复性定义。

无服务器 Kubernetes 集群

分布式工作流 Argo 集群自带计算环境，不需要手工创建和管理。提交工作流后，使用阿里云弹性容器 ECI，以 Serverless 方式运行工作流中的任务，不需要维护 Kubernetes 节点。利用阿里云的弹性能力，可以运行大规模工作流（数万任务 Pod），同时使用数十万核 CPU 的算力资源，在工作流运行完成后自动释放资源。加快工作流运行速度，并节省计算成本。

总结

  1. 基于 Kubernetes 集群和开源 Argo Workflows 构建，以云原生的方式编排运行工作流，无厂商绑定风险；

  2. 复杂工作流任务的编排，可以应对数据处理、仿真计算，科学计算的复杂业务场景；

  3. 计算环境采用阿里云弹性容器 ECI，不需要维护节点；

  4. 大规模算力的按需使用，按量计费，避免工作流排队等待，提高效率，节省计算成本。

Batch 批量计算和 Argo 工作流功能映射

能力分类描述Batch批量计算Argo Workflows
用户体验批量计算CLIArgo Workflows CLI
Json定义作业Yaml定义作业
SDKSDK
核心能力作业（Jobs）工作流（Workflows)
Array jobs工作流（Workflows）Loops
Job dependencies工作流（Workflows）DAG
Job Environments Variables工作流（Workflows）Parameters
Automated Job retries工作流（Workflows）Retrying
Job timeouts工作流（Workflows）Timeouts
无工作流（Workflows）Artifacts
无工作流（Workflows）Conditions
无工作流（Workflows）Recursion
无工作流（Workflows）Suspending/Resuming
GPU jobs工作流（Workflows）指定GPU机型运行工作流
VolumesVolumes
Job priority工作流（Workflows）Priority
作业定义（JobDefinition）工作流模版（Workflows Templates）
计算环境Job queues无，云上Serverless弹性，作业无需排队
计算环境（Compute Environment)无服务器Kubernetes集群
生态集成事件驱动事件驱动
可观察性可观测性

Argo 工作流示例

简单工作流

cat > helloworld.yaml << EOF
apiVersion: argoproj.io/v1alpha1
kind: Workflow                  # new type of k8s spec
metadata:generateName: hello-world-    # name of the workflow spec
spec:entrypoint: main         # invoke the main templatetemplates:- name: main              # name of the templatecontainer:image: registry.cn-hangzhou.aliyuncs.com/acs/alpine:3.18-updatecommand: [ "sh", "-c" ]args: [ "echo helloworld" ]
EOF
argo submit helloworld.yaml

在这个实例中，我们启动了一个任务 Pod，使用 alpine 镜像，运行 shell 命令 echo helloworld。在这个工作流基础上，可以在 args 中，指定多个 shell 命令并执行，也可以使用自定义镜像运行镜像中的命令。

Loops 工作流

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: loops-
spec:entrypoint: loop-exampletemplates:- name: loop-examplesteps:- - name: print-pettemplate: print-petarguments:parameters:- name: job-indexvalue: "{{item}}"withSequence:  # loop to run print-pet template with parameter job-index 1 ~ 5 respectively.start: "1"end: "5"- name: print-petinputs:parameters:- name: job-indexcontainer:image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/print-petcommand: [/tmp/print-pet.sh]args: ["{{inputs.parameters.job-index}}"] # input parameter job-index as args of container

在示例中，镜像 print-pet 中打包了 pets.input 文本文件和 print-pet.sh 脚本文件，print-pet.sh 以 job-index 为输入参数，打印 pets.input 文件行号为 job-index 的 pet。具体文件内容请访问 GitHub 仓库 [ 3] 。

在工作流中，会同时启动 5 个 Pod，并分别传入参数 job-index 1~5，每个 pod 根据输入的 job-index 的值，打印相应行的 pet。通过 Loops 工作流可以实现数据分片和并行处理，加快海量数据的处理速度。更多 Loops 示例可以参考工作流（Workflows）Loops [ 4] 。

DAG 工作流（MapReduce）

真实的批处理场景中，往往需要多个 Job 配合完成，所以需要指定 Job 间的依赖关系，DAG 是指定依赖关系的最佳方式。但主流的 Batch 批处理系统，需要通过 Job ID 指定 Job 依赖，由于 Job ID 需要在 Job 提交后才能获取，因此需要编写脚本实现 Job 间依赖（伪代码如下），Job 较多时依赖关系不直观维护代价高。

//Batch批处理系统Job间依赖，JobB 依赖 JobA，在JobA完成后运行。
batch submit JobA | get job-id
batch submit JobB --dependency job-id (JobA)

Argo 工作流可以通过 DAG 定义子任务间的依赖关系，示例如下：

图片

# The following workflow executes a diamond workflow
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: dag-diamond-
spec:entrypoint: diamondtemplates:- name: diamonddag:tasks:- name: Atemplate: echoarguments:parameters: [{name: message, value: A}]- name: Bdepends: "A"template: echoarguments:parameters: [{name: message, value: B}]- name: Cdepends: "A"template: echoarguments:parameters: [{name: message, value: C}]- name: Ddepends: "B && C"template: echoarguments:parameters: [{name: message, value: D}]- name: echoinputs:parameters:- name: messagecontainer:image: alpine:3.7command: [echo, "{{inputs.parameters.message}}"]

在 Git 仓库 [ 5] 中，提供了一个 MapReduce 工作流示例，分片处理数据，并聚合计算结果。

如何迁移 Batch 批处理系统到 Argo 工作流

1. 评估与规划

评估现有 Batch 批处理作业，包括依赖关系，资源需求，参数配置等。了解 Argo Workflows 的特性和最佳实践，并根据本文选择 Argo workflows 的功能以替代 Batch 批处理作业。另外，由于分布式工作流 Argo 集群的 Serverless ECI 能力，您可以跳过规划 Compute Environment 和管理优先级队列。

2. 创建分布式工作流 Argo 集群

参考文档：工作流集群快速入门 [ 6]

3. 转换作业定义

根据 Batch 批量计算到 Argo 工作流的功能映射，重写 Batch 批量计算作业为 Argo 工作流，也可以通过调用 Argo 工作流 SDK [ 7] ，以自动化方式创建工作流，并接入业务系统。

4. 数据存储

确保分布式工作流 Argo 集群可以访问工作流运行所需要的数据，工作流集群可以挂在访问阿里云 OSS，NAS，CPNS，云盘等存储资源。参考使用存储卷 [ 8] 。

5. 测试验证

验证工作流运行正常，数据访问，结果输出正常，资源用量符合预期。

6. 运维：监控和日志

开启分布式工作流 Argo 集群可观察能力 [ 9] ，查看工作流运行状态和日志。

总结

  1. 在用户体验、核心能力、计算环境和生态集成方面，Argo 工作流可以覆盖主流 Batch 批处理系统的功能，同时在复杂工作流编排和计算环境管理方面强于 Batch 批处理系统。

  2. 分布式工作流 Argo 集群基于 Kubernetes 构建，工作流定义符合 Kubernetes Yaml 规范，子任务定义符合 Kubernetes Container 规范。如果您已经在使用 Kubernetes 运行在线应用，可以快速上手编排工作流集群，统一使用 Kubernetes 作为在线应用和离线应用的技术底座。

  3. 计算环境采用阿里云弹性容器 ECI，不需要维护节点，同时提供大规模算力的按需使用，按量计费，避免工作流排队等待，提高运行效率，节省计算成本。

  4. 结合使用阿里云 Spot 示例，可以大幅降低计算成本。

  5. 分布式工作流适合 CICD，数据处理、仿真计算，科学计算等业务场景。

相关链接：

[1] 分布式工作流 Argo 集群

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12?spm=a2c4g.11186623.0.0.3b33309fEXoH3j

[2] Argo Workflows

https://argoproj.github.io/argo-workflows/

[3] GitHub 仓库

https://github.com/AliyunContainerService/argo-workflow-examples/tree/main/loops

[4] 工作流（Workflows）Loops

https://argo-workflows.readthedocs.io/en/latest/walk-through/loops/

[5] Git 仓库

https://github.com/AliyunContainerService/argo-workflow-examples/tree/main/map-reduce

[6] 工作流集群快速入门

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/workflow-cluster-quickstart?spm=a2c4g.11186623.0.0.20555492DR5MCM

[7] SDK

https://argoproj.github.io/argo-workflows/client-libraries/

[8] 使用存储卷

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/use-volumes?spm=a2c4g.11186623.0.0.12011428eDYQH1

[9] 可观察能力

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/observability/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/643710.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

鸿蒙开发入门

鸿蒙开发入门

下载和安装DevEco Studio&#xff1a; 文档中心https://developer.harmonyos.com/cn/docs/documentation/doc-guides-V3/software_install-0000001053582415-V3 配置鸿蒙开发环境&#xff1a; 文档中心https://developer.harmonyos.com/cn/docs/documentation/doc-guides-V3…
阅读更多...
MySQL之数据库DDL

MySQL之数据库DDL

文章目录 MySQL数据库基本操作数据定义DDL对数据库的常用操作创建表修改表格式结构 MySQL数据库基本操作 首先我们先了解SQL的语言组成&#xff0c;他分为四个部分 数据定义语言&#xff08;DDL&#xff09;数据操纵语言&#xff08;DML&#xff09;数据控制语言&#xff08;…
阅读更多...
亚马逊、eBay、TikTok等平台的综合运营实用工具分享！

亚马逊、eBay、TikTok等平台的综合运营实用工具分享！

亚马逊、eBay等电商平台为卖家提供了广阔的销售机会&#xff0c;但同时也带来了运营管理的挑战。为了提高运营效率和销售业绩&#xff0c;卖家需要借助一些实用工具。本文将介绍一些在亚马逊、eBay等平台上综合运营中非常有用的工具&#xff0c;帮助卖家更高效地管理店铺&#…
阅读更多...
CC工具箱使用指南：【处理面要素空洞】

CC工具箱使用指南：【处理面要素空洞】

一、简介 面要素在经过一系列的处理后&#xff0c;可能会存在空洞。 有些小空洞面积过小&#xff0c;人工检查很容易遗漏&#xff0c;于是就做了这个工具。 目的就是获取面要素的空洞&#xff0c;或者去除空洞获取要素的边界。 二、工具参数介绍 右键点击面要素图层&#xf…
阅读更多...
spring mvc 请求与响应

spring mvc 请求与响应

我是南城余&#xff01;阿里云开发者平台专家博士证书获得者&#xff01; 欢迎关注我的博客&#xff01;一同成长&#xff01; 一名从事运维开发的worker&#xff0c;记录分享学习。 专注于AI&#xff0c;运维开发&#xff0c;windows Linux 系统领域的分享&#xff01; 知…
阅读更多...
神经网络的学习(Neural Networks: Learning)

神经网络的学习(Neural Networks: Learning)

1.代价函数 案例&#xff1a;假设神经网络的训练样本有&#x1d45a;个&#xff0c;每个包含一组输入&#x1d465;和一组输出信号&#x1d466;&#xff0c;&#x1d43f;表示神经网络层数&#xff0c;&#x1d446;&#x1d43c;表示每层的 neuron 个数(&#x1d446;&#…
阅读更多...
k8s 容器 java 应用内存限制不生效

k8s 容器 java 应用内存限制不生效

一 k8s java 应用内存限制不生效 回顾&#xff1a;Linux杂谈之java命令 namespace负责资源隔离 cgroups负责资源限制 容器JVM最佳实践 Metaspace 是 非 Heap 内存 管理空间,那么 Heap 就是操作空间 JVM内存模型简介 隔离&#xff1a; 两个进程完全隔离感知&#xff1…
阅读更多...
VM虚拟机忘记密码，ISO镜像修改

VM虚拟机忘记密码，ISO镜像修改

VM虚拟机忘记密码&#xff0c;ISO镜像修改 制作镜像&#xff1a; 镜像已制作&#xff0c;可在文末链接自行获取从镜像启动系统 1&#xff09;添加IOS镜像文件&#xff1a; 2&#xff09;开机进去固件&#xff1a; 进入后选择对应的驱动器启动 3. 修改密码 点击修改密码软件&a…
阅读更多...
【极数系列】Flink环境搭建（02）

【极数系列】Flink环境搭建（02）

【极数系列】Flink环境搭建&#xff08;02&#xff09; 引言 1.linux 直接在linux上使用jdk11flink1.18.0版本部署 2.docker 使用容器部署比较方便&#xff0c;一键启动停止&#xff0c;方便参数调整 3.windows 搭建Flink 1.18.0版本需要使用Cygwin或wsl工具模拟unix环境…
阅读更多...
每日一题——LeetCode1309.解码字母到整数映射

每日一题——LeetCode1309.解码字母到整数映射

方法一 个人方法&#xff1a; 由题意可得&#xff1a; 1、1-26对应a-z&#xff0c;只不过从10开始&#xff0c;后面要加#才能表示字母 2、10# - 26# 都是三位数&#xff0c;开头<2&#xff0c;结尾都为# 3、某个数后面两位如果不为#那么该数为1-9对应a-i&#xff0c;如果…
阅读更多...
华为设备配置简单流分类

华为设备配置简单流分类

实验需求&#xff1a;10.1.1.0/24网段的PC访问PC3&#xff0c;流量进入AR1时&#xff0c;DSCP字段优先级为0&#xff0c;在AR1进行配置&#xff0c;将10.1.1.0/24网段流量的优先级映射为内部优先级46。 实验步骤&#xff1a; 步骤1&#xff1a;配置IP地址 [AR1]interface g0/…
阅读更多...
Pygame之纯Python实现你好2024效果

Pygame之纯Python实现你好2024效果

Pygame之纯Python实现你好2024效果 前言&#xff1a; 对于某些指JavaScript与前端实现为Python实现你好2024效果的营销号实在看不下去了。无底线营销&#xff0c;还要私信拿源码&#xff0c;hhh 于是就有了以下代码&#xff1a; 运行前安装pygame pip install pygame运行效果…
阅读更多...
k8s-基础知识(Service,NodePort,CusterIP,NameSpace,资源限制)

k8s-基础知识(Service,NodePort,CusterIP,NameSpace,资源限制)

Node Node 是 Pod 真正运行的主机&#xff0c;可以是物理机&#xff0c;也可以是虚拟机。 Annotations 原文链接 Annotations 是 key/value 形式附加于对象的注解。不同于 Labels 用于标志和选择对象&#xff0c;Annotations 则是用来记录一些附加信息&#xff0c;用来辅助应…
阅读更多...
HTML 入门手册(一)

HTML 入门手册(一)

目录 HTML介绍 1-基础语法 单标签 双标签 整体结构 2-标题和水平线 标题 水平线 3-段落和换行 段落 换行 4-列表 无序列表 有序列表 嵌套列表 5-div和span div span 6-格式化标签 粗体 斜体 下划线中划线 上标和下标 7-超链接(a标签) 链接到URL 链接…
阅读更多...
GitHub无法完成推送 的设置选项

GitHub无法完成推送 的设置选项

GitHub无法完成推送 的设置选项 系统设置 VS中控制台设置【指令】 控制台调出方法 以下为VS控制台指令 git config --global --unset http.proxy git config --global --unset https.proxygit config --global http.proxy 127.0.0.1:7890 git config --global https.proxy …
阅读更多...
docker - compose 部署 Tomcat

docker - compose 部署 Tomcat

目录 下面用 docker-compose 方法部署 Tomcat 1、准备工作 2、部署容器 启动容器 查看新启动的容器 3、总结 下面用 docker-compose 方法部署 Tomcat 1、准备工作 先在主机创建工作文件夹&#xff0c;为了放置 Tomcat 的配置文件等。创建文件夹的方法&#xff0c;自己搞…
阅读更多...
【操作系统】实验三 编译 Linux 内核

【操作系统】实验三 编译 Linux 内核

&#x1f57a;作者&#xff1a; 主页 我的专栏C语言从0到1探秘C数据结构从0到1探秘Linux &#x1f618;欢迎关注&#xff1a;&#x1f44d;点赞&#x1f64c;收藏✍️留言 &#x1f3c7;码字不易&#xff0c;你的&#x1f44d;点赞&#x1f64c;收藏❤️关注对我真的很重要&…
阅读更多...
基于springboot+vue的在线商城系统(前后端分离)

基于springboot+vue的在线商城系统(前后端分离)

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容&#xff1a;毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…
阅读更多...
git的使用(idea中)

git的使用(idea中)

文章目录 Git分布式版本控制工具1、目标2、概述2.1、开发中的实际场景2.2、版本控制器的方式2.3、SVM2.4、Git2.5、Git工作流程 3、Git安装与常用命令3.1、Git环境配置3.1.1 下载与安装3.1.2基本配置3.1.3为常用指令配置别名(可选)3.1.4解决GitBash乱码问题 3.2、获取本地仓库3…
阅读更多...
第11次修改了可删除可持久保存的前端html备忘录：将样式分离，可以自由秒添加秒删除样式

第11次修改了可删除可持久保存的前端html备忘录：将样式分离，可以自由秒添加秒删除样式

第11次修改了可删除可持久保存的前端html备忘录&#xff1a;将样式分离&#xff0c;可以自由秒添加秒删除样式 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport" content"…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023