云原生时代：从 Jenkins 到 Argo Workflows，构建高效 CI Pipeline

作者：蔡靖

Argo Workflows

Argo Workflows [ 1] 是用于在 Kubernetes 上编排 Job 的开源的云原生工作流引擎。可以轻松自动化和管理 Kubernetes 上的复杂工作流程。适用于各种场景，包括定时任务、机器学习、ETL 和数据分析、模型训练、数据流 pipline、CI/CD 等。

Kubernetes Jobs 只提供基础的任务执行，但是无法定义步骤依赖关系和顺序、缺乏工作流模版、没有可视化界面，也不支持工作流级别的错误处理等，对于批处理、数据处理、科学计算、持续集成等业务场景，Kubernetes Job 无法胜任。

Argo Workflows 作为 CNCF 的毕业项目，已被使用在多种场景，持续集成（CI）是其一个重要应用领域。

图片

CI 与 Jenkins

持续集成和持续部署（CI/CD）是软件开发生命周期中的重要部分，它允许团队以敏捷流程开发应用并提高所构建应用程序的质量。持续集成（CI）是面向开发者的自动化流程，经测试、构建等步骤，有助于更频繁、可靠地将代码变更提交到主分支。

Jenkins 作为 CI/CD 领域最常见的解决方案，其具有开源免费、插件丰富、社区成熟诸多优点，但它仍然存在一些问题，尤其是云原生大背景的当下：

  • 非 kubernetes 原生；
  • 随着 pipeline 和插件的增加，Jenkins 会面临性能瓶颈；
  • 自动扩展能力不足，并发不足，运行时间长，空闲计算浪费成本；
  • 维护成本方面，虽然 Jenkins 的插件生态系统丰富，但这也可能导致插件版本不兼容、更新不及时或安全漏洞等问题，管理插件更新和权限是一个持续的挑战；
  • 项目隔离/权限分配方案的缺陷等。

Argo Workflows 与 Jenkins 的对比

相比于 Jenkins，Argo Workflows 有诸多优势。Argo Workflows 构建在 Kubernetes 之上，使其具有 Kubernetes 经过时间考验的优势，其 Autoscaling 和并发等能力，使得 Argo Workflows 可以处理大规模的 pipelins，具有更快的运行速度，和更低的费用/使用成本，让开发者更加聚焦业务功能和为客户提供、传播价值；并且与 Argo 生态的 Argo CD、Argo Rollout、Argo Event 的无缝集成，为 CI 等场景提供更强大的能力。您可以基于 Argo Workflows 来构建更加云原生、大规模、高效率、低成本的 CI Pipeline。

对比如下：

image.png

基于 ACK One Serverless Argo 工作流的 CI Pipeline

ACK One Serverless Argo 工作流

ACK One Serverless Argo 工作流 [ 2] 作为一款完全遵循社区规范的全托管式 Argo Workflows 服务，致力于应对大规模计算密集型作业，通过集成阿里云 ECI 实现自动扩展和极致弹性、按需扩容以最小化成本，通过使用 spot ECI（抢占式 ECI 实例 [ 3] ）可以降低 80% 成本。

图片

CI Pipeline 概述

基于 ACK One Serverless Argo 工作流集群构建 CI Pipeline，主要使用 BuildKit [ 4] 实现容器镜像的构建和推送，并使用 BuildKit Cache [ 5] 加速镜像的构建，使用 NAS 来存储 Go mod cache 加速 go test 和 go build，最终大幅加速 CI Pipeline 流程。

我们将实现的 CI Pipeline 的 ClusterWorkflowTemplate 预置在工作流集群中（名为 ci-go-v1），其中主要包含 3 个步骤：

  1. Git Clone & Checkout：Clone Git 仓库，Checkout 到目标分支；并获取 commit id。

  2. Run Go Test：通过参数控制是否运行，使用 NAS 存储 Go mod cache 进行加速

  3. Build & Push Image：

    a. 使用 BuildKit 构建和推送容器镜像，并使用 BuildKit Cache 中 registry 类型 cache 来加速镜像构建；

    b. 镜像 tag 默认使用 {container_tag}-{commit_id} 格式，可在提交工作流时通过参数控制是否追加 commit id；

    c. 推送镜像的同时，也会推送覆盖其 latest 镜像。

您可执行以下步骤完成 CI Pipeline 的运行，详细步骤请参见最佳实践 [ 6] ：

  1. 在工作流集群中准备好 ACR EE 的凭据和 NAS 存储卷
  2. 基于预置模板启动工作流（workflow）运行 CI Pipeline

图片

预置 CI Pipeline 模板

工作流集群中默认已经预置了名为 ci-go-v1 的工作流模板（ClusterWorkflowTemplate），yaml 如下所示，详细参数说明请参见最佳实践 [ 6] ：

apiVersion: argoproj.io/v1alpha1
kind: ClusterWorkflowTemplate
metadata:name: ci-go-v1
spec:entrypoint: mainvolumes:- name: run-testemptyDir: {}- name: workdirpersistentVolumeClaim:claimName: pvc-nas- name: docker-configsecret:secretName: docker-configarguments:parameters:- name: repo_urlvalue: ""- name: repo_namevalue: ""- name: target_branchvalue: "main"- name: container_imagevalue: ""- name: container_tagvalue: "v1.0.0"- name: dockerfilevalue: "./Dockerfile"- name: enable_suffix_commitidvalue: "true"- name: enable_testvalue: "true"templates:- name: maindag:tasks:- name: git-checkout-prinline:container:image: alpine:latestcommand:- sh- -c- |set -euapk --update add gitcd /workdirecho "Start to Clone "{{workflow.parameters.repo_url}}git -C "{{workflow.parameters.repo_name}}" pull || git clone {{workflow.parameters.repo_url}} cd {{workflow.parameters.repo_name}}echo "Start to Checkout target branch" {{workflow.parameters.target_branch}}git checkout {{workflow.parameters.target_branch}}echo "Get commit id" git rev-parse --short origin/{{workflow.parameters.target_branch}} > /workdir/{{workflow.parameters.repo_name}}-commitid.txtcommitId=$(cat /workdir/{{workflow.parameters.repo_name}}-commitid.txt)echo "Commit id is got: "$commitIdecho "Git Clone and Checkout Complete."volumeMounts:- name: "workdir"mountPath: /workdirresources:requests:memory: 1Gicpu: 1activeDeadlineSeconds: 1200- name: run-testwhen: "{{workflow.parameters.enable_test}} == true"inline: container:image: golang:1.22-alpinecommand:- sh- -c- |set -euif [ ! -d "/workdir/pkg/mod" ]; thenmkdir -p /workdir/pkg/modecho "GOMODCACHE Directory /pkg/mod is created"fiexport GOMODCACHE=/workdir/pkg/modcp -R /workdir/{{workflow.parameters.repo_name}} /test/{{workflow.parameters.repo_name}} echo "Start Go Test..."cd /test/{{workflow.parameters.repo_name}}go test -v ./...echo "Go Test Complete."volumeMounts:- name: "workdir"mountPath: /workdir- name: run-testmountPath: /testresources:requests:memory: 4Gicpu: 2activeDeadlineSeconds: 1200depends: git-checkout-pr    - name: build-push-imageinline: container:image: moby/buildkit:v0.13.0-rootlesscommand:- sh- -c- |         set -eutag={{workflow.parameters.container_tag}}if [ {{workflow.parameters.enable_suffix_commitid}} == "true" ]thencommitId=$(cat /workdir/{{workflow.parameters.repo_name}}-commitid.txt)tag={{workflow.parameters.container_tag}}-$commitIdfiecho "Image Tag is: "$tagecho "Start to Build And Push Container Image"cd /workdir/{{workflow.parameters.repo_name}}buildctl-daemonless.sh build \--frontend \dockerfile.v0 \--local \context=. \--local \dockerfile=. \--opt filename={{workflow.parameters.dockerfile}} \build-arg:GOPROXY=http://goproxy.cn,direct \--output \type=image,\"name={{workflow.parameters.container_image}}:${tag},{{workflow.parameters.container_image}}:latest\",push=true,registry.insecure=true \--export-cache mode=max,type=registry,ref={{workflow.parameters.container_image}}:buildcache \--import-cache type=registry,ref={{workflow.parameters.container_image}}:buildcacheecho "Build And Push Container Image {{workflow.parameters.container_image}}:${tag} and {{workflow.parameters.container_image}}:latest Complete."env:- name: BUILDKITD_FLAGSvalue: --oci-worker-no-process-sandbox- name: DOCKER_CONFIGvalue: /.dockervolumeMounts:- name: workdirmountPath: /workdir- name: docker-configmountPath: /.dockersecurityContext:seccompProfile:type: UnconfinedrunAsUser: 1000runAsGroup: 1000resources:requests:memory: 4Gicpu: 2activeDeadlineSeconds: 1200depends: run-test

在控制台运行 CI Pipeline

  1. 登录 ACK One 工作流集群控制台 [ 7]
  2. 在基础信息，开启工作流控制台（Argo） ，并访问进入页面
  3. 左侧菜单栏 Cluster Workflow Templates，单击 ci-go-v1 预置模板进入详情页
  4. 单击+ SUBMIT，在右侧填入您的参数，单击下方+ SUBMIT

图片

参数说明：

image.png

执行完以后，可在 Argo UI 的 workflow 详情页查看运行情况，如下所示：

图片

总结

ACK One Serverless Argo 工作流作为全托管的 Argo 工作流服务，可以帮助您实现更大规模、具有更快的运行速度、及更低成本的 CI Pipeline，与 ACK One GitOps [ 8] （Argo CD）、Argo Event 等事件驱动架构可以构建完整的自动化 CI/CD Pipeline。

欢迎加入 ACK One 客户交流钉钉与我们一同交流。（钉钉群号：35688562）

相关链接：

[1] Argo Workflows

https://argoproj.github.io/argo-workflows/

[2] ACK One Serverless Argo 工作流**

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

[3] 抢占式 ECI 实例

https://help.aliyun.com/zh/eci/use-cases/run-jobs-on-a-preemptible-instance?spm=a2c4g.11186623.0.i7

[4] BuildKit

https://github.com/moby/buildkit

[5] BuildKit Cache

https://github.com/moby/buildkit?tab=readme-ov-file#cache

[6] 最佳实践

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/use-cases/building-a-ci-pipeline-of-golang-project-based-on-workflow-cluster

[7] ACK One 工作流集群控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fcs.console.aliyun.com%2Fone%3Fspm%3Da2c4g.11186623.0.0.555018e1SiD2lC#/argowf/cluster/detail

[8] ACK One GitOps

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/gitops-overview

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/22679.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【成品设计】基于STC15F104W的互补PWM输出器

【成品设计】基于STC15F104W的互补PWM输出器

《基于STC15F104W的互补PWM输出器》 1.所需器件： (1)单片机：STC15F104W。 ①最小系统板链接：【淘宝】https://m.tb.cn/h.5WnLl9X?tkqSGrdCWm0PW「STC15F104W STC15W204S单片机模块 系统板 核心板 学习板 开发板」点击链接直接打开 或者 淘宝…
阅读更多...
HCIP-Datacom-ARST自选题库__多种协议简答【11道题】

HCIP-Datacom-ARST自选题库__多种协议简答【11道题】

1.BGP/MPLSIP VPN的典型组网场景如图所示，PE1和PE2通过LoopbackO建立MP-IBGP，PE1和PE2之间只传递VPN路由，其中PE1BGP进程的部分配置已在图中标出，则编号为0的命令不是必须的。(填写阿拉伯数字) 3 2.在如图所示的Hub&Spok…
阅读更多...
【Java】数据加密

【Java】数据加密

目录 数据加密介绍使用场景密码学历史古代密码学凯撒密码例子特点 维吉尼亚密码原理例子特点 现代密码学介绍 现代密码学的加密算法分类哈希算法优点缺点代码示例【封装写法】 对称加密算法对称加密算法的加密过程解密过程对称加密算法的优点：对称加密算法的缺点&am…
阅读更多...
【初识Objective-C】

【初识Objective-C】

Objective-C学习 什么是OCOC的特性OC跑的第一个程序helloworld OC的一些基础知识标识符OC关键字数据类型字符型c字符串为什么NSString类型定义时前面要加和普通的c对象有什么区别 一些基础知识if语句switch语句三种循坏语句for循环：用于固定次数的循环while循环&…
阅读更多...
低功耗，低噪声 CMOS 轨到轨输入输出运算放大器

低功耗，低噪声 CMOS 轨到轨输入输出运算放大器

产品简述 MS6001/2/4 运算放大器具有极低功耗，轨到轨输入输出，低 的输入电压和低的电流噪声。具体表现在可工作在幅度为 1.8V 到 5V 的单电源或者双电源条件，低功耗和低噪声使得 MS6001/2/4 能够用在可移动设备上，输入输…
阅读更多...
低代码/无代码可以降低程序员哪些门槛

低代码/无代码可以降低程序员哪些门槛

低代码/无代码开发平台是一种新兴的软件开发模式，它通过图形化界面、拖拽式操作等方式，快速构建应用程序，从而降低了开发者的准入门槛。这种模式对程序员来说，不仅可以提高开发效率，还可以在某些情况下促进业务人员成为…
阅读更多...
目标检测数据集 - 打架检测数据集下载「包含VOC、COCO、YOLO三种格式」

目标检测数据集 - 打架检测数据集下载「包含VOC、COCO、YOLO三种格式」

数据集介绍：打架检测数据集，真实监控场景高质量打架图片数据，涉及场景丰富，比如街道场景打架数据、酒吧场景打架数据、商店场景打架数据、公交车场景打架数据、监狱场景打架数据、空旷地打架数据、两人打架数据、多人群殴数据等。…
阅读更多...
面试官：如何实现大文件切片上传？

面试官：如何实现大文件切片上传？

公众号：程序员白特，关注我，每天进步一点点~ 前端上传文件很大时,会出现各种问题,比如连接超时了,网断了,都会导致上传失败,这个时候就需要将文件切片上传,下面我们就来学习一下如何使用vue实现大文件切片上传吧 大文件为什么要切片上传 前端…
阅读更多...
【SpringBoot】SpringBoot同时可以处理多少请求

【SpringBoot】SpringBoot同时可以处理多少请求

目录 问题Web三大容器三者区别TomcatJetty小结 最大连接数和最大等待数同时处理请求数拓展：设置Web容器设置容器为Jetty设置容器为Undertow 问题 之前看到过一个面试题：SpringBoot同时可以处理多少请求？ 准确的来说，Spring Boot…
阅读更多...
pycharm绘图时中英文不能同时出现 中文出现小框框的问题解决

pycharm绘图时中英文不能同时出现 中文出现小框框的问题解决

# 设置字体为微软雅黑，正确显示负号 plt.rcParams[font.sans-serif] [Microsoft YaHei] plt.rcParams[axes.unicode_minus] False
阅读更多...
Python 组合序号

Python 组合序号

import pandas as pd # 创建一个示例数据框 data { group: [A, A, A, B, B, C, C, C, C], value: [3, 1, 2, 5, 4, 6, 9, 7, 8] } df pd.DataFrame(data) # 先按group分组，再按value列升序排序 df_sorted_asc df.sort_values(by[group, value]) # 使…
阅读更多...
如何使用vsCode打开intel D435i深度相机

如何使用vsCode打开intel D435i深度相机

一、下载并安装相机SDK文件 1.SDK下载地址： Release Intel RealSense™ SDK 2.0 (v2.54.2) IntelRealSense/librealsense GitHub 2.下载后，双击即可安装 3.环境配置 1）window的开始菜单，搜索环境变量，选择编辑系…
阅读更多...
LitCTF2024部分wp

LitCTF2024部分wp

litctf wp 第一次ak了web和misc，非常激动，感谢lictf给我这个机会 最终成果 全靠队里的密码逆向✌带飞。一个人就砍了近一半的分数 这里是我们队的wp web exx 题目名反过来就是xxe，考察xxe，查看登录的数据包 发现传的就是xml…
阅读更多...
机器学习中的泛化与适应：深入理解域泛化、域适应、少样本学习、零样本学习、开放世界识别与开放词汇识别

机器学习中的泛化与适应：深入理解域泛化、域适应、少样本学习、零样本学习、开放世界识别与开放词汇识别

机器学习中的泛化与适应：深入理解域泛化、域适应、少样本学习、零样本学习、开放世界识别与开放词汇识别 😎 作者介绍：我是程序员行者孙，一个热爱分享技术的制能工人。计算机本硕，人工制能研究生。公众号：A…
阅读更多...
Java Web学习笔记8——表单

Java Web学习笔记8——表单

表单标签&#xff1a; 场景&#xff1a;在网页中主要负责数据采集功能&#xff0c;如注册、登录等数据采集。 标签&#xff1a;<form> 表单项、表单元素&#xff1a; 不同类型的input元素、下拉列表、文本域等。 <input>: 定义表单项、通过type形式控制输入形…
阅读更多...
深入解读Prometheus Adapter：云原生监控的核心组件

深入解读Prometheus Adapter：云原生监控的核心组件

一、引言 Prometheus Adapter的背景与重要性 在现代的云原生架构中&#xff0c;微服务和容器化技术得到了广泛的应用。这些技术带来了系统灵活性和扩展性的提升&#xff0c;但同时也增加了系统监控和管理的复杂度。Prometheus作为一款开源的监控系统&#xff0c;因其强大的指标…
阅读更多...
有关Qt的调用其他cpp文件出现的小问题

有关Qt的调用其他cpp文件出现的小问题

一开始出现了运行mainwindow文件过程调用其他cpp文件&#xff0c;而导致运行的ui界面卡住&#xff0c;后来发现在两个cpp文件中都进行了界面的初始化而导致界面的某些控件二次使用&#xff0c;所以会卡住。 ui->setupUi(this); 在Qt框架中&#xff0c;ui->setupUi(this)…
阅读更多...
PPP-B2b精密产品使用注意事项及分析

PPP-B2b精密产品使用注意事项及分析

1、因为在使用PPP-B2b进行定轨的时候&#xff0c;发的精密轨道产品是B3频点的&#xff0c;需要改正的卫星质心&#xff08;Com&#xff09;与SP3精密星历对比。 2、PPP-B2b产品吸收了电离层误差&#xff0c;因此电离层提取方面与IGS电离层完全无法对其。 3、由于PPP-B2b产品精…
阅读更多...
元宇宙3D品牌营销虚拟场景提升客户对企业的黏性

元宇宙3D品牌营销虚拟场景提升客户对企业的黏性

在这个充满创意与想象的3D元宇宙时代&#xff0c;我们为您推出了全新的3D元宇宙场景在线制作编辑平台&#xff0c;让您轻松构建专属的虚拟展厅&#xff0c;展现无限可能。 3D元宇宙场景在线制作编辑平台允许您快速完成空间设计&#xff0c;根据您的个性化需求&#xff0c;自由设…
阅读更多...
适合初学者人手一本的LLM大语言模型综述，爆火全网

适合初学者人手一本的LLM大语言模型综述，爆火全网

今天给大家推荐一本大模型&#xff08;LLM&#xff09;这块的一本外文书&#xff0c;经过整理已经出中文版了&#xff0c;就是这本《大型语言模型综述》&#xff01;本书在git上有9.2k star&#xff0c;还是很不错的一本大模型方面的书。 本教程内容主要内容&#xff1a;中文版…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023