【行云流水线实践】基于“OneBuild”方法对镜像进行快速装箱 | 京东云技术团队

在云原生领域，无论使用哪种编排调度平台，Kubernetes，DockerSwarm，OpenShift等，业务都需要基于镜像进行交付，我们在内部实践“Source-to-image”和链式构建，总而总结出“OneBuild”模式。

其核心思想是：一处构建，多处使用。

问题

一般，我们会使用类似Jenkins CI系统来构建镜像，以满足持续集成，持续开发，持续交付等场景。事实上，如果我们在某一方面能够提升效率或者解决镜像交付实践。

长期来看，将能够带来不少的成本收益，并且对于平台来讲，这种收益是一种可度量收益。假设我们在当前交付（git）分支中，需要fix或者feature已经release分支的，如何进行？如果在已经交付给用户的镜像中存在漏洞，需要批量交付，如何进行？为了解决这些问题，我们的团队必须重新构建镜像，并且找出基本镜像，构建过程有那些依赖关系。然后基于这些成熟的流程和规范进行快速交付。

解决方案

Docker build是大家比较常用的镜像构建方法，并且在构建中只需要声明自己的Dockerfile即可，就可以实现快速构建。但是这并不满足大型企业实践以及快速交付。

所以需要一套规范且能够直接生产的流程，帮助在云原生下进行快速交付。下面我们讲结合行云平台进行“OneBuild”方法的实践。

悬衡而知乎，没规而知圆。因此，我们在团队的流水线建立和改造的过程中，尤其注重标准化。

包括dockerfile的命名和设计，构建代码的设计。由此新项目加入时，我们只需复制，然后做小工作量的改造即可。

行云Build

行云是JDT生产效率的标准化产品，是一个比较成熟的产品。用于支撑内部研发，测试，交付的平台。

Build是行云中一个子系统，用于研发过程中的持续集成，持续测试，持续构建等任务。

团队日常开发语言主要是以golang为主，并且在上线或交付制品中，也以Docker镜像为主。并且由于大多数时间，我们必须在真实的K8S环境中运行。

所以稳定的构建平台，高效，快速的构建，对我们的日常开发和交付都是至关重要，在构建中往往需要构建多版本镜像。所以围绕行云流水线，主要就是发掘功能，适配改造。

Dockerfile标准化

接下来，我们设计的流程，将会使用上一级构建的产品，对下级镜像进行快速装箱。

Dockerfile命名


Dockerfile            # 标准版Dockerfile.kylinv10   # kylinv10 base 版本Dockerfile.oel22      # openeuler base 版本

下面我们继续看dockerfile中的细节。

首先是 Dockerfile


ARG ARCHARG BUILD_IMAGEARG BASE_IMAGEFROM ${BUILD_IMAGE} as builderARG ARCHENV GOPATH=/goCOPY go.mod go.modCOPY go.sum go.sumCOPY main.go main.goCOPY api/ api/COPY controllers/ controllers/COPY pkg/ pkg/COPY vendor/ vendor/# BuildRUN CGO_ENABLED=0 GO111MODULE=on GOOS=linux GOARCH=${ARCH} go build --mod=vendor -a -o manager main.goARG ARCHARG BASE_IMAGEFROM ${BASE_IMAGE}ENV PIP3_SOURCE=https://pypi.tuna.tsinghua.edu.cn/simpleENV DEFAULT_FORKS=50ENV DEFAULT_TIMEOUT=600ENV DEFAULT_GATHER_TIMEOUT=600ENV TZ=Asia/ShanghaiENV PYTHONWARNINGS=ignore::UserWarningWORKDIR /COPY --from=builder /manager .COPY inventory/ inventory/COPY roles/ roles/COPY etcd-restore.yml etcd-restore.ymlCOPY facts.yml facts.ymlCOPY requirements.txt requirements.txtCOPY inventory.tmpl.ini inventory.tmpl.iniCOPY ansible.cfg ansible.cfgRUN yum -y install kde-l10n-Chinese && \yum -y reinstall glibc-common && \localedef -c -f UTF-8 -i zh_CN zh_CN.UFT-8 && \echo 'LANG="zh_CN.UTF-8"' > /etc/locale.conf && \source /etc/locale.conf && \yum clean allENV LANG=zh_CN.UTF-8ENV LC_ALL=zh_CN.UTF-8RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && \echo $TZ > /etc/timezone && \yum install python3 python3-devel sshpass openssh-clients -y && \yum clean all && \/usr/bin/python3 -m pip --no-cache-dir install pip==21.3.1 -U -i $PIP3_SOURCE && \/usr/bin/python3 -m pip --no-cache-dir install -r requirements.txt -i $PIP3_SOURCEUSER rootENTRYPOINT ["/manager"]

上述dockerfile中，分为两个阶段构建，第一个阶段builder构建出需要的二进制。这与正常的dockerfile相同。

唯一不同的是，我们讲构建镜像和base镜像进行了参数化，这也使得当变更构建镜像和base镜像，我们只需要在构建时控制参数即可。

再看dockerfile.kylinv10


ARG BASE_IMAGEFROM ${BASE_IMAGE}ENV PIP3_SOURCE=https://pypi.tuna.tsinghua.edu.cn/simpleENV DEFAULT_FORKS=50ENV LANG=en_US.UTF-8ENV DEFAULT_TIMEOUT=600ENV DEFAULT_GATHER_TIMEOUT=600ENV TZ=Asia/ShanghaiENV PYTHONWARNINGS=ignore::UserWarningWORKDIR /COPY --from=jdos-etcd-restore-helper:latest /manager /COPY inventory/ inventory/COPY roles/ roles/COPY etcd-restore.yml etcd-restore.ymlCOPY facts.yml facts.ymlCOPY requirements.txt requirements.txtCOPY inventory.tmpl.ini inventory.tmpl.iniCOPY ansible.cfg ansible.cfgRUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && \echo $TZ > /etc/timezone && \yum install python3 python3-devel python3-pip sshpass openssh-clients -y && \/usr/bin/python3 -m pip --no-cache-dir install pip==21.3.1 -U -i $PIP3_SOURCE && \/usr/bin/python3 -m pip --no-cache-dir install -r requirements.txt -i $PIP3_SOURCEUSER rootENTRYPOINT ["/manager"]

发现了什么？在dockerfile.kylinv10中少了builder这一步，COPY --from=jdos-etcd-restore-helper:latest 是从一个指定的临时镜像中直接做了拷贝。这就直接复用了第一步dockerfile中构建出的产物。效率提升比较明显。

在dockerfile设计中，COPY是可以从一个指定的镜像中，copy指定的文件的。

再看Dockerfile.oel22


ARG BASE_IMAGEFROM ${BASE_IMAGE}ENV PIP3_SOURCE=https://pypi.tuna.tsinghua.edu.cn/simpleENV DEFAULT_FORKS=50ENV LANG=en_US.UTF-8ENV DEFAULT_TIMEOUT=600ENV DEFAULT_GATHER_TIMEOUT=600ENV TZ=Asia/ShanghaiENV PYTHONWARNINGS=ignore::UserWarningWORKDIR /COPY --from=jdos-etcd-restore-helper:latest /manager /COPY inventory/ inventory/COPY roles/ roles/COPY etcd-restore.yml etcd-restore.ymlCOPY facts.yml facts.ymlCOPY requirements.txt requirements.txtCOPY inventory.tmpl.ini inventory.tmpl.iniCOPY ansible.cfg ansible.cfgRUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && \echo $TZ > /etc/timezone && \yum install python3 python3-devel python3-pip sshpass openssh-clients -y && \/usr/bin/python3 -m pip --no-cache-dir install pip==21.3.1 -U -i $PIP3_SOURCE && \/usr/bin/python3 -m pip --no-cache-dir install -r requirements.txt -i $PIP3_SOURCEUSER rootENTRYPOINT ["/manager"]

是不是与dockerfile.kylinv10的思路非常相似，事实上，这两个文件已经可以合并了（内部为了向后兼容，没有合并这两个文件）。

脚本标准化

还需要在行云流水线中将shell脚本进行固化，与dockerfile进行配合。


# 支持shell语言代码的多行输入cd  /sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')git_commit=${output.Download_Code.GIT_LAST_COMMIT_SHA1}build_date=$(date -u +'%Y-%m-%dT%H:%M:%SZ')image_tag="${env.GenerateNewVersion}-${git_commit:0:6}"echo "start build image - standard"new_image_repo="${IMAGE_REPO}"sudo docker build -t ${new_image_repo}:${image_tag} -f Dockerfile --build-arg ARCH="amd64" . sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')sudo docker push ${new_image_repo}:${image_tag}echo "end to build image - standard"echo "amd64ImageName=${new_image_repo}:${image_tag}" > ./amd64_output# 重新命名一个新镜像，供下级dockerfile进行多阶段构建时直接copysudo docker tag ${new_image_repo}:${image_tag} jdos-etcd-restore-helper:latest# 条件性选择构建基于kylinv10OS的镜像if [[ -f Dockerfile.kylinv10 ]];thenecho "start build image - security - kylin base"new_image_repo="${IMAGE_REPO}-kylinv10-amd64"sudo docker build -t ${new_image_repo}:${image_tag} -f Dockerfile.kylinv10 --build-arg ARCH="amd64" . sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')sudo docker push ${new_image_repo}:${image_tag}echo "end to build image - security - kylin base"echo "amd64KylinImageName=${new_image_repo}:${image_tag}" >> ./amd64_outputfi# 条件性选择构建基于欧拉OS的镜像if [[ -f Dockerfile.oel22 ]];thenecho "start build image - security - openeuler22 base"new_image_repo="${IMAGE_REPO}-openeuler22-amd64"sudo docker build -t ${new_image_repo}:${image_tag} -f Dockerfile.oel22 --build-arg ARCH="amd64" . sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')sudo docker push ${new_image_repo}:${image_tag}echo "end to build image - security - openeuler22 base"echo "amd64Oel22ImageName=${new_image_repo}:${image_tag}" >> ./amd64_outputfi# 清理builder镜像，避免产生none垃圾镜像。sudo docker rmi jdos-etcd-restore-helper:latest --force

提升

基于以上，构建时间从21min缩短至7min，构建效率提升66%👊。我们总结出“OneBuild”方法：即构建一次，多处使用的思路。

标准化的shell与dockerfile进行配合，能够做到一次构建，多处使用。提升了构建效率。

讨论

上述完整介绍了多个镜像构建的流程和设计规范，也说明“OneBuild”可以进行快速构建的优点。所以OneBuild的对于中大型组织或者有快速交付需求的团队来讲，是非常有帮助的。

并且对效率的提升是可以看得见的。

作者：京东科技 王晓飞

来源：京东云开发者社区 转载请注明来源

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/128878.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

VS2022安装时碰到VsWebProtocolSelector.Msi包安装错误，2330code解决方法

VS2022安装时碰到VsWebProtocolSelector.Msi包安装错误，2330code解决方法

未能安装包“Microsoft.VisualStudio.VsWebProtocolSelector.Msi,version17.8.34129.139”。 搜索 URL https://aka.ms/VSSetupErrorReports?qPackageIdMicrosoft.VisualStudio.VsWebProtocolSelector.Msi;PackageActionInstall;ReturnCode2330 详细信息 …
阅读更多...
C++——定义一个 Book(图书)类

C++——定义一个 Book(图书)类

完整代码： /*定义一个 Book(图书)类，在该类定义中包括数据成员和成员函数 数据成员：book_name （书名）、price(价格)和 number(存书数量)； 成员函数：display()显示图书的 情况；borro…
阅读更多...
Spring面试题：（二）基于xml方式的Spring配置

Spring面试题：（二）基于xml方式的Spring配置

xml配置Bean的常见属性 id属性 name属性 scope属性 lazy-init属性 init-method属性和destroy属性 initializingBean方法 Bean实例化方式 ApplicationContext底层调用BeanFactory创建Bean，BeanFactory可以利用反射机制调用构造方法实例化Bean，也可采用工…
阅读更多...
css文本溢出省略号多行单行例子详细

css文本溢出省略号多行单行例子详细

在 CSS 中，可以使用 text-overflow: ellipsis; 属性来实现文本溢出时自动省略号的效果。但是该属性只能用于单行文本溢出的情况，对于多行文本溢出的情况，需要使用一定的技巧才能实现相应的效果。下面将分别介绍单行和多行文本溢出时的实现方法…
阅读更多...
排序算法(1)

排序算法(1)

这里写目录标题 排序插入排序直接插入排序希尔排序 选择排序直接选择排序堆排序向下调整堆排序 交换排序冒泡排序 排序 插入排序 直接插入排序 直接插入排序是O（N^2）的排序算法 从0下标开始往后排 void InsertSort(int* a,int n)//直接插入排序 {fo…
阅读更多...
Apollo云实验：使用Sim control仿真自动驾驶

Apollo云实验：使用Sim control仿真自动驾驶

使用Sim control仿真自动驾驶 概述Sim control仿真自动驾驶启动DreamView仿真系统 实验目的福利活动 主页传送门：📀 传送 概述 自动驾驶汽车在实现落地应用前，需要经历大量的道路测试来验证算法的可行性和系统的稳定性，但道路测试…
阅读更多...
语言模型和人类的推理都依赖内容

语言模型和人类的推理都依赖内容

人类不太擅长逻辑，需要依赖内容直觉进行推理。许多认知研究表明，人类的推理并不是完全抽象的（不是完全的形式与内容分离）。 相反，我们的推理取决于问题的内容： 当内容支持逻辑推理时，我们回答…
阅读更多...
Spring Boot实践 --windows环境下 K8s 部署 Docker

Spring Boot实践 --windows环境下 K8s 部署 Docker

第一步：搭建项目并制作合适的jar包 这里我们准备好前面项目 用户管理系统 项目里的jar包。测试功能，定时任务会每过10s打印一次日志： E:\test>java -jar demospringboot-0.0.1-SNAPSHOT.jar2023-11-01 20:24:21.059 INFO 11848 --- [ …
阅读更多...
关于Linux下排查C++进程Segment fault问题的步骤

关于Linux下排查C++进程Segment fault问题的步骤

C 中出现Segment问题的常见原因有: 如果要定位Segment fault问题，需要进行如下几步： gdb your_program(gdb) break main(gdb) run(gdb) backtrace同时要在CMakeLists.txt文件中配置编译时启用符号调试信息， 在C或者C中的设置分别如下&#x…
阅读更多...
Layui上传Excel, 并返回每行导入的结果

Layui上传Excel, 并返回每行导入的结果

前端代码 <button type"button" class"layui-btn" id"uploadExcel"><i class"fa fa-lg fa-file-excel-o"></i> 上传Excel </button>layui.config({base: assets/layuiadmin/ //静态资源所在路径}).extend({i…
阅读更多...
Java中队列的数据结构

Java中队列的数据结构

Java中的队列是一种基于先进先出&#xff08;FIFO&#xff09;原则的数据结构&#xff0c;它可以用来存储一组元素&#xff0c;并支持在队列的末尾添加元素&#xff0c;以及在队列的开头删除元素。Java中的队列可以通过Java集合框架中的Queue接口来实现&#xff0c;常用的实现类…
阅读更多...
数据交易模型的扩展性，可操作性

数据交易模型的扩展性，可操作性

目录 数据交易模型的扩展性，可操作性 模型的扩展性： 模型的可操作性： 数据交易模型的扩展性&
阅读更多...
Pytest UI自动化测试实战实例

Pytest UI自动化测试实战实例

环境准备 序号库/插件/工具安装命令1确保您已经安装了python3.x2配置python3pycharmselenium2开发环境3安装pytest库pip install pytest4安装pytest -html 报告插件pip install pytest-html5安装pypiwin32库(用来模拟按键)pip install pypiwin326安装openpyxl解析excel文件库p…
阅读更多...
论文辅助笔记：t2vec models.py

论文辅助笔记：t2vec models.py

1 EncoderDecoder 1.1 _init_ class EncoderDecoder(nn.Module):def __init__(self, vocab_size, embedding_size,hidden_size, num_layers, dropout, bidirectional):super(EncoderDecoder, self).__init__()self.vocab_size vocab_size #词汇表大小self.embedding_size e…
阅读更多...
leetcode_117 填充每个节点的下一个右侧节点指针 II

leetcode_117 填充每个节点的下一个右侧节点指针 II

文章目录 1. 题意2. 题解2.1 BFS2.2 BFS空间优化2.3 DFS序层次记录 3. Ref 1. 题意 在一颗树的同层之间用指针把他们链接起来。 填充每个节点的下一个右侧节点指针 II 2. 题解 2.1 BFS 用一个变量记录下同层最右侧的节点&#xff0c;当遍历到时更新下一层的最右侧节点即可…
阅读更多...
2023-11-03 C++ 类型擦除与状态保留

2023-11-03 C++ 类型擦除与状态保留

点击 <C 语言编程核心突破> 快速C语言入门 C 类型擦除与状态保留 前言一、一个正常的继承和多态二、一个不太正常的继承和多态三、试图构建能类型抹除但保留状态的mySharedPtr类总结 前言 要解决问题: 在C中, 类型决定着对象的数据存储和解释, 以及方法. 通过继承和虚…
阅读更多...
R语言使用surveyCV包对NHANES数据（复杂调查加权数据）进行10折交叉验证

R语言使用surveyCV包对NHANES数据（复杂调查加权数据）进行10折交叉验证

美国国家健康与营养调查&#xff08; NHANES, National Health and Nutrition Examination Survey&#xff09;是一项基于人群的横断面调查&#xff0c;旨在收集有关美国家庭人口健康和营养的信息。 地址为&#xff1a;https://wwwn.cdc.gov/nchs/nhanes/Default.aspx 既往咱们…
阅读更多...
ES6、ES7、ES8的特性是什么？

ES6、ES7、ES8的特性是什么？

ES6、ES7、ES8都是JavaScript语言的版本，它们具有一些新的特性和变化。 ES6（ECMAScript 2015）引入了很多重要的新特性，包括： 1： 类（class）：对熟悉Java，object-c，c#等纯面向对象语言的开发者来说，都会对class有一种特殊的情怀。ES6 引入了class（类），让JavaScri…
阅读更多...
Kubernetes群集调度

Kubernetes群集调度

调度约束 Kubernetes 是通过 List-Watch 的机制进行每个组件的协作&#xff0c;保持数据同步的&#xff0c;每个组件之间的设计实现了解耦。 用户是通过 kubectl 根据配置文件&#xff0c;向 APIServer 发送命令&#xff0c;在 Node 节点上面建立 Pod 和 Container。 APIServ…
阅读更多...
Linux 服务器 Oracle19C安装

Linux 服务器 Oracle19C安装

原文：【精选】Oracle | CentOS7安装Oracle19c数据库（RPM包）_oracle-database-preinstall-19c-1.0-1.el7.x86_64.rp_Thorolds Deer的博客-CSDN博客 下载 第一个软件包：Oracle Database 19c Download for Linux x86-64 第二个包：Oracle Linux 7 (x86_64) Latest | Oracle,…
阅读更多...
最新文章

Copyright @ 2022~2023