Azure DevOps Server CI - 自搭跨平台容器代理Agents

前言

最近在地端(On-premises)幫團隊搭一套CI/CD流程,也順帶整理了一下從無到有的搭建過程,這次使用了docker技術來解決現有團隊使用CI/CD時讓現有CI/CD hosting環境過於複雜的問題。

在開始之前,我先預備一下搭建的環境,如下:

Windows Server 2012 R2( Traditional Chinese) VM虛擬機
Azure DevOps Server 2019 RC1.0

Docker version 18.03.0-ce

沒用上最新的Docker 版本是因為Win Server 2012 R2不支援容器化,需要安裝

Docker Toolbox(https://docs.docker.com/toolbox/toolbox_install_windows/)

在使用docker image之前,先來簡單解釋一下代理Agent。MSDN的說法是是一套可被安裝的軟件(installable software),用來處理序列的工作(jobs)/任務(Tasks),比方說你出行時可以打車,而你可以選擇Taxi,Uber,或Didi..等等,出行就是你的job,而Taxi或Didi這邊來說就是Agent。

Agent可以處理在building或release這些活動,一旦有大量的building,或release活動產生的時候一個agent肯定負擔不小,這時多個agent是一個不錯的方案

我先從單一agent開始建立,這邊微軟的教程已經非常簡單了,我照其步驟快速過一遍,以便讀者能有基本認識,在搭建多個agent也能快速上手,也能進一步搭建容器化的agent

單agent建立:

  • 下載Agent

  1. 在DefaultCollection portal 頁面找到集合設置


2.選擇代理池,可知在此可以設置多個代理

3.在默認下有個名稱Default的代理池,目前尚未創建任何的代理所以這邊顯示未註冊代理

4.選擇下載代理,你將會看到下列信息,選擇相應的OS下載代理,我安裝Azure Devops Server是在Windows Server下,所以這邊選擇Windows,由此可以得知Agent 可依附在不同的平台下如macOS,Linux

  • 安裝Agent

下載完後可以知道這是一個zip壓縮包微軟已經寫好了配置過程與啟用腳本

  1. 將壓縮包解壓到指定的位置,如C:\agent

  2. 用admin 身分執行Powershell,切換到解壓directory

  3. 貼上微軟提供的命令,注意不要包含空白

  4. 執行config.cmd 進行配置

5.配置過程如下,


這邊來說明一下各個配置

  • 服務器URL: 這邊如果沒有指定的明確的域名,可以輸入安裝Azure Devops Server 的服務器名

  • 驗證類型:這邊可先用默認的Integrated

  • 代理名:可自定義名稱,如上圖指定了Build-Agent

  • 用於服務的賬戶名:這邊可以依照工作的需求與運維的要求看是否需要建立新的賬戶或用默認的,我建立新的賬戶adobuild,建立服務,服務啟動時會用這個賬戶來啟動

  • 如無錯誤訊息,成功結束配置

6.

最後在代理池裡可以看到配置並成功聯機狀態的Agent

到此已經完成的最簡單的配置,也是微軟教程內的範疇,我們還差如何驗證Agent的功能?最簡單的方法就是將代碼分支enqueue到這個Default來進行編譯

最後可以在代理池看到編譯的狀態,也能從log看出編譯失敗的原因

以上就是一個簡易的搭建過程,但這邊衍伸了幾個問題?

回顧文章開頭所述,我在一個乾淨的VM進行配置,編譯之所以出錯是因為這是一個.Net Core的項目,VM壓根沒裝.Net Core SDK

裝上了當然編譯就沒問題,但想像一情境:

Azure Devops Server會同時有好多團隊來使用,如寫Python的,Node.js的,如果都在這台服務器下裝項目的依賴軟件這樣真的好嗎? 如果使用在線Azure Devops Service 這可能會幫助您省去這個問題。

在地端(On-premises)搭建時,為了涵蓋以上情境,我使用了

Running a self-hosted agent in Docker

https://docs.microsoft.com/zh-tw/azure/devops/pipelines/agents/docker?view=azure-devops

這是需要Docker支持的技術,如果agent可以在各個容器裡隔離開來,並且各自擁有可依賴的環境docker image後,如需要對.Net Core項目進行CI 可以準備一個docker file裏頭預先裝好.net sdk,Python項目也能用另一個docker file預先裝好Python,多個docker file對應到不同的Agent,這樣就可以保持Azure Devops Server的環境單純。

  • 準備docker file

上述的思維已經很多前輩都想到了,本文的案例在地端的Azure Devops Server使用Running a self-hosted agent in Docker

簡化現有團隊間的技術債,在一位歐洲的開發者RobertoPrevato 的博客中我也看到相同做法。(https://robertoprevato.github.io/Self-hosted-Azure-DevOps-agents-running-in-Docker/)。按微軟文檔的教程,只須執行docker build出image並docker run命令即可完成agent配置。

前面提到agent可以hosting在不同的操作系統下,在此我將agent 配置在linux下並裝好.net core sdk/runtimes等(為什麼是linux?因為可以免去大量授權的麻煩)

  • 項目可用的dockerfile如何建立?

    熟悉dockerfile應該可以跳過這一段。

    先來看看微軟在Running a self-hosted agent in Docker中範例

https://docs.microsoft.com/zh-tw/azure/devops/pipelines/agents/docker?view=azure-devops

FROM ubuntu:16.04# To make it easier for build and release pipelines to run apt-get,
# configure apt to not require confirmation (assume the -y argument by default)
ENV DEBIAN_FRONTEND=noninteractive
RUN echo "APT::Get::Assume-Yes \"true\";" > /etc/apt/apt.conf.d/90assumeyesRUN apt-get update \
&& apt-get install -y --no-install-recommends \ca-certificates \curl \jq \git \iputils-ping \libcurl3 \libicu55 \libunwind8 \netcatWORKDIR /azpCOPY ./start.sh .
RUN chmod +x start.shCMD ["./start.sh"]

依樣畫葫蘆,從範例看到apt-get install,這邊就可以自定義來安裝.net core 項目所需的依賴(或其它如python項目)安裝片段如下:

apt-get install dotnet-sdk-2.1=2.1.301-1
apt-get install dotnet-sdk-2.2

通過範例還可得知,這dockerfile最後寫:

RUN chmod +x start.sh

透過start.sh腳本來進行agent配置(服務器URL/驗證類型...),

透過dockerfile可以建立(build)一個image,接著啟動(run) image

docker build -t dockeragent:latest .
docker run -e AZP_URL=<Azure DevOps instance> \
-e AZP_TOKEN=<PAT token> \
-e AZP_AGENT_NAME=mydockeragent \
dockeragent:latest


完成後便可在代理池看到一個名為mydockeragent基於ubuntu 16.04 並帶有.net core 項目依賴環境的代理了。

以下我們實際來走訪一次Running a self-hosted agent in Docker流程,很幸運的我已經看到預先搭好.net core sdk環境的dokerfile了。

https://github.com/RobertoPrevato/AzureDevOps-agents/blob/master/ubuntu18.04-dotnet/Dockerfile

步驟分為二

  1. Build docker images

  2. Run Image

Let's Go

  • Build docker images

    我簡化了RobertoPrevato提供的dockerfile,因為image太多了build用時太長。

    您可以在https://github.com/yuessir/AzureDevOps-agents/tree/Customized-master

    下載簡化過腳本到本地進行,如需其它語言dockerfile可找到原作fork源頭

    1.使用bash執行build.sh

    2.腳本自動安裝所需依賴

如無錯誤則成功完成building images

  • Run Image

使用下列命令我們建立一個名為Self-hosted Ubuntu 18.04的代理池,代理名稱為ubuntu18.04-dotnet,使用image為devopsubuntu18.04-dotnet:latest

  docker run -e AZP_URL=http://win-pmovrk1des/DefaultCollection \-e AZP_POOL='Self-hosted Ubuntu 18.04' \-e AZP_TOKEN=azusie3sn5so6i6nzfytgp2fkfelwr5itnzcf6pylfnwiyviha \-e AZP_AGENT_NAME='ubuntu18.04-dotnet' \devopsubuntu18.04-dotnet:latest

這邊需要注意由於使用PAT驗證而非Integrated驗證,在驗證過程中會發生缺少SSL的錯誤信息

這邊解決方案就是把Azure Devops Server加上SSL

更改命令如下

docker run -e AZP_URL=https://az.***.com/DefaultCollection \
--add-host az.***.com:192.168.239.128 \-e AZP_POOL='Self-hosted Ubuntu 18.04' \-e AZP_TOKEN=usie3sn5sokf6gdfkgp2fgrkfelwr5it \-e AZP_AGENT_NAME='ubuntu18.04-dotnet' \devopsubuntu18.04-dotnet:latest

執行命令:

配置成功將出現下面信息:

回到代理池頁面就可看到配置後的Ubuntu Agent了

在re-enqueue .net core項目分支後也可以看到順利被代理編譯成功。

這就是使用docker 作為Azure Devops Agent 的過程,過程礙於篇幅只先呈現ubuntu with .Net Agent的部分,您可以自行嘗試帶有python/nodejs的agent並實行CI。

最後簡單總結:

缺點:

  1. 項目成員要有能力知道如何提供dockerfile的內容

好處:

  1. 可以依照不同團隊的開發性質進行快速的替換不同的agent

  2. 安裝依賴組件時不會讓服務器變得擁腫,避免不必要的安全風險

  3. Builing image可以快速更新與重建,適合快速迭代的團隊

以上就是在地端搭建的過程,有任何的問題歡迎與我聯繫~

下一篇將會針對CD的部分來著墨

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/312528.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python练习题:列表排序

Description 已知一个列表a [1,3,5,7,9]&#xff0c;系统会通过input()函数给你输入2、4、6、8中的任意一个数字&#xff0c;请你将这个数字和列表a中的数字重新排列&#xff0c;要求新列表中的数字依旧按从小到大的方式排列&#xff0c;您只需要输出新列表即可。 Input 系统会…

.Net Core 认证组件源码解析

不知不觉.Net Core已经推出到3.1了,大多数以.Net为技术栈的公司也开始逐步的切换到了Core,从业也快3年多了,一直坚持着.不管环境怎么变,坚持自己的当初的选择,坚持信仰 .Net Core是个非常优秀的框架,如果各位是从WebForm开始,一步步走到今天,自然而然就会发现.微软慢慢的开始将…

7-10 逆波兰表达式求值 (20 分)(c语言)(数据结构)

逆波兰表示法是一种将运算符&#xff08;operator&#xff09;写在操作数&#xff08;operand&#xff09;后面的描述程序&#xff08;算式&#xff09;的方法。举个例子&#xff0c;我们平常用中缀表示法描述的算式&#xff08;1 2&#xff09;*&#xff08;5 4&#xff09;…

在.NET Core下的机器学习--学习笔记

摘要.NET Core 在机器学习的应用场景&#xff0c;除了 ML .NET 还会介绍一个非常棒的開源技術 TensorFlow .NET &#xff0c; Keras .NET.讲师介绍本课内容人工智能介绍ML .NETICSharpCoreTensorFlow .NETKeras .NETSciSharp人工智能应用图像识别/物体识别自然语言/翻译搜索/知…

6-5 顺序表操作集 (20 分)(创建,查找,插入,删除)以及顺序表的理解

顺序表&#xff1a; 线性表的顺序存储 线性表的顺序存储是指在内存中用地址连续的一块存储空间顺序存放线性表的各元素 在程序设计语言中&#xff0c;一维数组在内存中占用的存储空间就是一组连续的存储区域&#xff0c;因此&#xff0c;用一维数组来表示顺序存储的数据区域是…

asp.net core 自定义基于 HttpContext 的 Serilog Enricher

asp.net core 自定义基于 HttpContext 的 Serilog EnricherIntro通过 HttpContext 我们可以拿到很多有用的信息&#xff0c;比如 Path/QueryString/RequestHeader 等请求信息, StatusCode/ResponseHeader 等响应信息&#xff0c;借助 HttpContext 我们可以在日志中记录很多有用…

我的 .NET Core 博客性能优化经验总结

点击上方蓝字关注“汪宇杰博客”导语去年8月&#xff0c;我用 .NET Core 重写了我的博客系统。经过一年多的优化&#xff0c;服务器响应速度从上线时候的 80ms 提高到了现在的 8ms&#xff0c;十倍提速。可惜由于部署在国外&#xff0c;自然不可抗力会导致中国用户晚上访问速度…

7-11 堆栈操作合法性 (20 分)以及堆栈讲解(c语言实现)

关于堆栈&#xff1a; 1.它是什么 2.它为什么会出现/它的出现解决了什么问题 3.我们要怎么使用它 堆和栈到底是什么 栈和堆&#xff08;托管堆&#xff09;都存在于进程的虚拟内存中。 栈&#xff08;Stack&#xff09; 是操作系统在建立某个进程时或者线程&#xff08;在支持…

pta数据结构 彩虹瓶(c++实现)(详解)

简单了解一下c: 一&#xff1a; #include<iostream> //头文件&#xff0c;给予使用部分功能的权限 using namespace std; //为了解决命名冲突的问题而引入的概念 int main() //main函数&#xff0c;每一个C程序都需要有一个main函数 {cout<&l…

csredis-in-asp.net core理论实战-主从配置、哨兵模式

csredisGitHub https://github.com/2881099/csredis看了github上的开源项目,上面真的只是单纯的使用文档&#xff0c;可能对于我这种人&#xff08;菜鸟&#xff09;就不太友好&#xff0c;我知道他对标的是ServiceStack.Redis&#xff0c; 一开始csredis只支持. net 版本&…

数据结构(队列)

一、队列的顺序存储 #define MAXSIZE 100 typedef int ElementType; typedef struct{ElementType Data[MAXSIZE];//用一维数组存放队列元素int front;//队头指针int rear;//队尾指针 }SqQueue;front指针指向队头元素 rear指针指向队尾元素的下一个位置 空对时&#xff1a;re…

Redis 6 RC1发布,带来众多新特性

Redis 6 RC1 发布了&#xff0c;项目创建人 antirez 在博客中介绍&#xff0c;这是迄今最“企业”化的版本&#xff08;SSL 与 ACL 等特性与企业极相关&#xff09;&#xff0c;也是最大的版本&#xff0c;同时也是参与人数最多的版本。GA 版本预计在明年三月到五月之间发布。R…

数据结构 树和二叉树

树的概念 树是一种非线性的数据结构&#xff0c;它是由n&#xff08;n>0&#xff09;个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树&#xff0c;也就是说它是根朝上&#xff0c;而叶朝下的 根节点&#xff1a;根节点没有前驱结点除根节点…

Serverless那么火,2019年的采用如何?

传统的 IT 架构已经不适合当今快速发展的数字经济环境。技术顾问 Declan Morris 表示&#xff1a;“客户不仅期望零停机时间&#xff0c;而且要求应用程序无论在世界任何地方都具有一致的性能。”他还预测到&#xff0c;接下来是 Serverless 计算和函数即服务&#xff08;FaaS&…

数据结构判断题

1.将N个数据按照从小到大顺序组织存放在一个单向链表中。如果采用二分查找&#xff0c;那么查找的平均时间复杂度是O(logN)。 F 解析&#xff1a; 二分查找的平均复杂度是O&#xff08;logN&#xff09;没有错&#xff0c;一看到这个就跳坑了。然后知道陷阱来了&#xff01;按顺…

【C】Natasha 插件编程

文章转载授权级别&#xff1a;CNatasha 是一个代替 Emit / Expression 的动态构建项目&#xff0c;旨在为开发者提供方便、快捷、高性能的动态构建服务&#xff0c;动态编程是生态的重要组成部分&#xff0c;希望开发者们能有足够的兴趣来了解、使用、建设它。1、插件生成使用 …

二叉树先序,中序,后序,层次遍历(数据结构)

先序遍历 先序遍历可以想象为&#xff0c;一个小人从一棵二叉树的根节点为起点&#xff0c;沿着二叉树的外沿&#xff0c;逆时针走一圈回到根节点&#xff0c;路上遇到的元素顺序&#xff0c;就是先序遍历的结果 先序遍历的结果为&#xff1a;A B D H I E J C F K G 中序遍…

.NET Core 在 K8S 上的开发实践--学习笔记

摘要本主题受众是架构师&#xff0c;开发人员&#xff0c;互联网企业 IT 运维人员。大纲&#xff1a;1、 K8S 对应用的要求&#xff1b;2、 .NET Core 上 K8S 的优势&#xff1b;3、 K8S 下的 .NET Core 配置&#xff1b;4、 .NET Core 上分布式组件概览。大纲kubernetes 对应用…

线性表的删除

给定一个顺序存储的线性表&#xff0c;请设计一个函数删除所有值大于min而且小于max的元素。删除后表中剩余元素保持顺序存储&#xff0c;并且相对位置不能改变。 函数接口定义&#xff1a; List Delete( List L, ElementType minD, ElementType maxD );其中List结构定义如下&…

.NetCore 3.1 安装本地化中文智能提示

A、平时在群里&#xff0c;很多小伙伴都会问&#xff0c;.net core的智能提示和注释都是英文的&#xff0c;如果英语水平不是很高的&#xff0c;看着是挺麻烦&#xff0c;所以经常需要在身边有一个翻译软件&#xff0c;如果有汉化的中文智能提示就好了&#xff08;当然&#xf…