如何基于 Kubernetes 构建完整的 DevOps 流水线

640?wx_fmt=jpeg

前言

关于 DevOps 是一个很大的话题,它可能既涉及到公司的技术文化构建,也包括开发者技术能力的支持,这次技术干货分享主要是侧重于技术方面,就是如何用 Kubernetes 来服务好 DevOps 的流水线。本文从 4 个方面介绍:

  1. 什么是 Kubernetes?为什么 Kubernetes 比较适合用来构建 DevOps 的流水线?

  2. 如何基于 Kubernetes 来构建 DevOps 流水线?

  3. 如何在 Azure 上面利用 AKS 去构建 DevOps 流水线?

  4. DevOps 中常见的一些挑战。

1. 什么是 Kubernetes?为什么 Kubernetes 比较适合用来构建 DevOps 的流水线?

Kubernetes 是目前最为广泛且流行的容器编排调度系统,它也是现在用来构建云原生应用编排的最佳平台。目前所有云原生应用基本上都会基于 Kubernetes  API 去构建

Kubernetes 给开发者带来了很多实用的特性,比如一致性、可扩展性、自我修复的功能。一致性是指在 Kubernetes 上构建的应用可以无缝的迁移到任何环境里,不论公有云、私有云还是跨云。可扩展性是指把 Kubernetes 的插件机制运用到任何环境里,通过 Kubernetes 这些插件都可以实现自定义化。Kubernetes 的自我修复功能,包括健康检查、故障的自动恢复、自动扩展等机制,这些对于系统运行至关重要。

640?wx_fmt=jpeg

Kubernetes 的架构比较简单,分为 Master 和 Node 两部分。

  • Master 主要负责集群的状态维护,也给集群提供一个对外访问的入口;

  • Node 负责运行容器,为容器提供一些必要的环境,比如存储、网络等。

Kubernetes 在 Master 上必备的组件只有四个,在 Node 上必备的组件,除了 Kubelet、Kube-proxy,还有 Docker 等。而其他所有的一切都是通过扩展的方式部署到集群里,比如在部署一个集群时,DNS 是一个必需的功能,但这个功能是以一个容器的方式部署到集群里。

由于 Kubernetes 架构非常简单。因此它有一些特别的好处,就是可以运用到 DevOps 流水线里面来。以持续集成为例,在版本升级测试新的特性时,在 Kubernetes 之前可能要通过 IPM 包管理这些软件,当升级 IPM 包时,有可能产生冲突。而在 Kubernetes 中,通过把 IPM 包放到每一个容器里,避免软件包的冲突问题。如果把每个应用程序所依赖的东西都放到了容器里面,应用程序在不同环境里就可以很容易保持一致。

640?wx_fmt=jpeg

在 DevOps 里监控系统很关键,而在 Kubernetes 中,通过一个 Pod 的方式运行容器,应用程序可以部署在 Pod 的一个容器里,其他的容器可以用在监控里。

在 DevOps 中经常需要频繁地发布、变更系统,发现问题时需要回滚,而在频繁的发布和回滚时,需要有一个系统去管理这些发布的历史生命周期,在发现问题时才可以回滚回来。对于系统来说,要求它发布的过程中不能影响应用程序对外正常访问。在 Kubernetes 中已经有了原生的机制,比如用 Service 和 Deployment 来完成这个功能,Service 可以提供一个对外访问的入口,自动做好负载均衡;Deployment 负责管理好这些副本。如果需要升级,通过滚动升级的方式去部署。

2. 基于 Kubernetes 的 DevOps

DevOps 是把人员流程、产品进行结合,给用户提供持续价格的一个过程,这个过程既涉及到人员、过程,也涉及到产品。DevOps 最终目的是给客户提供持续交付的价值,流程包括:产品的规划跟踪、软件开发、构建测试、产品部署、运维、监控和优化,并通过一个流水线的方式串联起来。因此通常把 DevOps 这些流程合并起来称为一个 DevOps 的流水线。这个流水线的核心目标,就是持续给用户交付有价值的产品。

640?wx_fmt=jpeg

Kubernetes 如何服务好 DevOps 流水线?Kubernetes 的好处就是可以把不同的产品、工具串联起来。以 CI/CD 里最常用的 Jenkins 为例:现在有一个 Jenkins-x 项目,实现了与 Kubernetes 的集成,利用 Kubernetes 的 CI/CD 实现了自定义的兑现,有了这些资源兑现,就可以通过 Kubernetes 的 API 来定义 CI/CD 的过程。

另外如果使用 Kubernetes 构建整个流水线,在监控的时候就可以同样选择 Kubernetes 生态之中的项目,比如可以直接从 Prometheus 里获得很多指标,去构建想要的监控告警,以及后续的对整个产品的优化依据。基于这些工具,就可以构建一个 DevOps 的流水线。

一个比较典型的 DevOps 的流水线过程是:项目开始开发时,用 VS  Code 开发代码,然后把代码推送到 GitLab 里存储,通过 GitLab 的 hook 使 Jenkins 执行一些 CI 的过程,比如做一些单元测试,构建 Docker  image,再把这个 Docker  image 调用 helm 部署到开发环境或测试环境中。在测试环境里通过 Jenkins 触发一个集成测试的功能,完成后就可以把它部署到生产环境里,通过 Kubernetes addon 的方式,把 Prometheus、Grafana 等监控组件部署到集群里,就实现了一整套从 CI 到 CD 的监控过程。

640?wx_fmt=jpeg

3. 基于 AKS 的 Devops

AKS 是 Azure 提供的一个托管的 Kubernetes 服务,因为很多人在接触 Kubernetes 时发现它最大的痛点是 Kubernetes 的安装部署和维护太麻烦。Kubernetes 发布特别快,在升级的过程中很容易出现各种问题,而 AKS 的出现可以解决这些问题。

需要注意的是,AKS 只是提供了一个托管的 Kubernetes 服务,也就是它只提供了一个 K8s 的集群,而为了运行这个集群,还需要其他东西,比如要考虑 Docker  image 要存在哪里的问题。ACI 提供了跨地域自动复制的功能,因此 Docker  image 只要存到 ACI 里,就可以在不同的 Image 里使用。

另外在 DevOps 的流水线里执行任务时,这些任务都类似 Kubernetes 的一个 Job,比如在持续集成里做一个单元测试,这个单元测试可能运行很短时间就结束了,但如果用 AKS,或者通过其他产品的 Kubernetes 集群来管理这套 DevOps 流程,要优先保证最大的 Job 数量时,它才能够正常的运行。但是这会造成一定的资源浪费。

640?wx_fmt=jpeg

ACI 是一种无服务器化的容器解决方案,用户无需管理底层服务器,只需要调用它的 API 把一个容器运行起来即可。另外如果运行的程序还有一些数据要存储,如果要访问数据库,就需要用 cosmosDB 等服务,而它们已经跟 AKS、Kubernetes 有了很好的集成,这些服务可以很方便地在 Azure 上使用。

如何构建一套比较完善的 DevOps 流水线呢?

首先要创建项目,选择最合适的产品来管理进度,用 Azure  DevOps 把产品后面的代码开发、单元测试和集成测试、持续部署等串联起来。Azure  DevOps 提供了 Backlog 等工具来管理应用程序。

开发项目时,需要一套 Git 存储仓库,Azure  DevOps 也提供了这个功能。而项目开发完成之后,需要的本地测试可以使用 Draft,它的好处就是可以把进项打包,再通过 Helm 部署到开发环境里,并且可以自动设置好应用程序的远程调试。也就是让应用程序以容器的方式运行在一个 Kubernetes 的环境中,但是可以通过 VS Code 在线调试程序。

如果应用程序在本地测试通过了,就需要推送到代码仓库里持续集成,然后需要部署到测试环境里做相应的测试,最终再把它部署到生产环境里。当这一切做完了以后,应用程序就已经在线上跑了,但这个时候 DevOps 流程并没有结束,因为还需要运维和监控这个应用程序。这个时候就可以 Azure monitor 监控这个程序的状态。

640?wx_fmt=jpeg

4. DevOps 的挑战

DevOps 的挑战,首先就是自动化的测试不足。DevOps 流水线由于测试的投入不足,新发布的功能没有测试到,这个时候发布到生产环境就容易出现各种各样的问题。比如应用程序部署之后,可用性降低了,资源使用率突然升的很高等。对于这个问题实际上可以通过一定的组织文化建设去解决。一个比较简便的方式就是对这些过程提供适当的测试覆盖率的要求。例如一个新的产品发布时,要求测试覆盖率不能降低了,但是测试覆盖率是比较难以控制的,可能要从组织文化上来解决。

第二个问题就是DevOps 的工具链缺少链接,没有链接就没有办法做到高度的自动化。比较推荐的做法是选用 Kubernetes 生态中的这些工具链,利用 Kubernetes  API 把应用程序更好地串联起来,形成完整的 DevOps 的流水线。

第三个问题就是很难量化成果,以及很难协调团队之间的合作。比如用户抱怨网站访问速度慢了,由于当下并不知道慢的问题在哪里,所以要到各个产品里去检查。如果没有一套完善的监控系统,就很难定位这个产品到底是该由谁去负责。针对这个问题可以使用 Kubernetes,在不改变应用程序的情况下,跟踪整个应用程序的调用链,比如可以使用 ServiceMesh 监控这些应用程序,这样可以减少发现问题之后没法具体定位产品的瓶颈。

最后一个问题就是在 DevOps 之中,虽然使用了 Kubernetes 的生态链工具,如果没有遵循一些 Kubernetes/DevOps 的最佳实践,会导致在实际操作中出现预想不到的问题。比如一个最简单的问题,在升级的过程中可以用 Kubernetes 的 Deployment 来做滚动更新。按照正常的预期,在滚动更新的过程中,原来的副本还在正常运行着,新副本也是逐步去创建着,Service 负载均衡也是正常运行的。但问题是,Service 每次升级时总会时不时的断一下,其可能用性在每次部署时,总会降低那么一点。产生这个问题就是因为没有遵循 Kubernetes 最基本的最佳实践,没有给应用程序部署健康检查。对于最佳实践的问题,实际上需要整个团队,不只是 DevOps 流水线的构建团队,还需要应用程序的团队共同把这些最佳实践运用到流水线和应用程序的管理中。比如会出现 Job 的失败率非常高的问题,这时不仅要对应用程序进行资源的限制,另外对 DevOps 流水线里面的这些 Job 也要进行一定的资源控制,不要把资源全部耗光。

640?wx_fmt=jpeg

经验之谈

在 Kubernetes 中,不建议大家直接去管理一个 Pod,你之前创建了一个 Pod,而没有使用控制器去管理它。在 Kubernetes 中,建议每一个 Pod 都有一个控制器来管理,比如你可以用 Deployment 来管理,或者使用副本控制器来管理。所有这些控制器都是用来保证 Pod 在预期的状态。也可以使用自己的控制器去管理这些 Pod,通过开发一个 API 去管理生命周期。这样容器最终在运行状态时,总是有一个控制器来管理,就不会出现一个容器在一直在运行,却不知道是谁在管理的问题。


嘉宾简介

倪朋飞,就职于微软 Azure,主要关注 Kubernetes 与微服务,同时也是 Kubernetes 开源社区 SIG Azure Tech Lead。作为 Kubernetes 项目维护者,同时负责维护开源书籍《Kubernetes 指南》。

原文地址:https://www.infoq.cn/article/LtsomODk*whKEevGUhUp


.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com

640?wx_fmt=jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/317682.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[SNOI2017]遗失的答案 (FWT)

description 小皮球在计算出答案之后,买了一堆皮肤,他心里很开心,但是一不小心,就忘记自己买了哪些皮肤了。 ||| 万幸的是,他还记得他把所有皮肤按照 1∼N 来编号,他买来的那些皮肤的编号(他至…

Abp中使用可视化的日志面板

如果你还不了解LogDashboard请看这里 使用logdashboard查看可视化日志。ABP的相关知识不做介绍如果有需要请阅读ABP官方文档ABP是Net下非常优秀的开发框架,在中国很多的项目都正在使用它。现在我们可以使用LogDashboard增强在使用ABP开发中的查看日志能力。下载ABP模板项目打开…

J - Just Multiplicative Inverse Gym - 102875J

J - Just Multiplicative Inverse Gym - 102875J 题目: 题解: 给定一个x,求出F(1,x)F(2,x)…F(x-1,x) 的和除以(x-1) F(x,p)题目已经给出 我们观察F()含义,再结合本题含义,本题并不是要求F(x,…

利用Topshelf把.NET Core Generic Host管理的应用程序部署为Windows服务

2019第一篇文章。此文源于前公司在迁移项目到.NET Core的过程中,希望使用Generic Host来管理定时任务程序时,没法部署到Windows服务的问题,而且官方也没给出解决方案,只能关注一下官方issue #809 等他们方解决了。官方文档只提供了…

开源项目商业模式分析(2) - 持续维护的重要性 - Selenium和WatiN

该系列第一篇发布后收到不少反馈,包括:第一篇里说的MonicaHQ不一定盈利没错,但是问题在于绝大多数开源项目商业数据并没有公开,从而无法判断其具体是否盈利。难得MonicaHQ是公开的,所以才用来做这系列文章的开篇。很多…

深入业务成为更好的软件架构师——信息化建设图鉴一二例

软件开发实际上跟英语比较类似,都是一项工具,服务于各行各业。从程序员的个人修养上来讲,一是要研习好软件开发这门技艺,二是要深入到所服务的行业。说到底,软件的终极目标是模拟业务,在此期间常常会有一个…

恭贺微软技术俱乐部苏州站正式成立

今天去苏州微软中国,参加了微软技术俱乐部苏州站的成立大会。大会的历程悉数经历,这会儿仍在为各位大佬、社区领袖的奉献精神所感动。在通过我们公司同事分享的链接报名时就了解到,大会上有苏震巍老师和蒋金楠老师的分享,便笃定了…

[HNOI2013]消毒 (匈牙利最大匹配)

Description 最近在生物实验室工作的小T遇到了大麻烦。 由于实验室最近升级的缘故,他的分格实验皿是一个长方体,其尺寸为abc,a、b、c 均为正整数。为了实验的方便,它被划分为abc个单位立方体区域,每个单位立方体尺寸为111。用(i,…

.NET Core微服务之路:基于Ocelot的API网关实现--http/https协议篇

前言 最近一直在忙公司和私下的兼职,白天十个小时,晚上四个小时,感觉每天都是打了鸡血似的,精神满满的,连自己那已经学打酱油的娃都很少关心,也有很长一段时间没有更新博客了,特别抱歉&#…

[NOI2009] 变换序列 (匈牙利最大匹配)

description … solution 我竟然一眼题!! 变换后的TTT数组是[0,n)[0,n)[0,n)的排列,变换规则也有,距离DDD也知道 很明显可以求出iii的可能变换对象 这不就是个最大匹配?? 无解就是匹配数量达不到nnn罢了…

使用 WeihanLi.Npoi 操作 CSV

Intro最近发现 csv 文件在很多情况下都在使用,而且经过大致了解,csv 格式简单,相比 excel 文件要小很多,读取也很是方便,而且也很通用,微软的 ml.net 的示例项目 用来训练模型的数据也是使用的 csv 来保存的…

种类问题

几乎所有种类问题都可以转化成两种模型之一 1.直接维护ans数组 2.统计二维数点问题 前置知识 二维静态数点 以y为第一元素,x为第二元素,原点优先级大于查询点,对所有点(原点查询点),然后求 for(int i1;…

「LibreOJ Round #11」Misaka Network 与测试 (网络流跑二分图匹配)

description 研究者们想要测试 Misaka Network,于是他们把 Misaka Network 中的所有妹妹们召集到了一起。 现在妹妹们排成了 N行 M 列,有的位置没有人。现在研究者们给每一个个体的超能力进行了评定,一共有三个能力等级:Level 1 …

YbtOJ-相似子串【SA,RMQ,二分】

正题 题目大意 给出一个长度为nnn的字符串,两个串相似当且仅当可以通过每种字符置换使得它们相同。 qqq次询问这个字符串所有子串中和这个串中sl,rs_{l,r}sl,r​子串有多少个相似的。 1≤n≤105,1≤q≤51051\leq n\leq 10^5,1\leq q\leq 5\times 10^51≤n≤105,1≤…

程序员修仙之路--把用户访问记录优化到极致

点击上方蓝色字体,关注我们菜菜呀,前几天做的用户空间,用户反映有时候比较慢呀CEO,CTO,CFO于一身的CXO是吗?菜菜我把你拉进用户反馈群,你解决一下呀CEO,CTO,CFO于一身的CXO(完了,以后没清净时候…

[国家集训队]航班安排 (最大费用最大流)

description 神犇航空有K架飞机,为了简化问题,我们认为每架飞机都是相同的。神犇航空的世界中有N个机场,以0…N-1编号,其中0号为基地机场,每天0时刻起飞机才可以从该机场起飞,并不晚于T时刻回到该机场。一…

新数据革命:开源图形化数据引擎Hawk5发布

Hawk是一款开源图形化的爬虫和数据清洗工具,GitHub Star超过2k,前几代版本介绍如下:Hawk3: 终于等到你: 图形化开源爬虫Hawk 3发布!Hawk2: 120项优化: 超级爬虫Hawk 2.0重磅发布!Hawk1: 如何从互联网采集海量数据?租房…

[TJOI2018]智力竞赛 (匈牙利)

description 题目描述 小豆报名参加智力竞赛,他带上了 n个好朋友作为亲友团一块来参加比赛。 比赛规则如下:一共有 m道题目,每个人都有 1 次答题机会,每次答题为选择一道题目回答,在回答正确后,可以从这个…

ASP.NET Core如何在ActionFilterAttribute里做依赖注入

点击蓝字关注我在ASP.NET Core里,我们可以使用构造函数注入很方便地对Controller,ViewComponent等部件做依赖注入。但是如何给过滤器ActionFilterAttribute也用上构造函数注入呢?问题我的博客系统里有个用来删除订阅文件缓存的ActionFilter&a…

[八省联考2018]劈配 (匈牙利)

description 一年一度的综艺节目《中国新代码》又开始了。Zayid 从小就梦想成为一名程序员,他觉得这是一个展示自己的舞台,于是他毫不犹豫地报名了。 轻车熟路的 Zayid 顺利地通过了海选,接下来的环节是导师盲选,这一阶段的规则…