摘要: 在2017北京云栖大会上,阿里巴巴高级技术专家陈鑫(花名神秀),给大家带来了《1682亿背后的企业级高效持续交付》,引起强烈共鸣。神秀从技术负责人关心的研发流程混乱、质量无法保障、环境管理低效、资源浪费等方面,结合阿里巴巴的DevOps实践,深度解析了企业级持续交付如何做,企业如何高效协作,控制成本的精彩分享。
导读:在2017北京云栖大会上,阿里巴巴高级技术专家陈鑫(花名神秀),给大家带来了《1682亿背后的企业级高效持续交付》。神秀从技术负责人关心的研发流程混乱、质量无法保障、环境管理低效、资源浪费等方面,结合阿里巴巴的DevOps实践,深度解析了企业级持续交付如何做,企业如何高效协作,控制成本的精彩分享。
一、技术管理者的烦恼
开发工程师的日常
我们看下开发工程师每天都是如何工作的。老三样总是逃不掉,写代码、测试、发布到线上。具体来看首先要拉分支,每个团队一般都有自己的研发规范,团队成员都需要遵守才能保障基本研发秩序。其次,我们会先在本地进行一些测试,编写一些测试用例,测试通过后需要进行合并请求,最终经过一个流程,逐级发布代码到生产环境。
这老三样说起来简单,但正是我们研发效率需要提升的重要环节,因为它们每天都在不停地被重复。甚至在不断的反复踩坑。比如有重复的工作,有质量问题,有环境问题,还有协作问题。在持续交付原则中有一项,就是如果这件事让你痛苦,那就尽早且尽可能频繁地去做。当然我们不能容忍各种坑,各种效率低下,那么就要想办法去解决这些让我们头疼的问题。
技术管理者的烦恼
开发者日常的苦恼,必然也是技术管理者的烦恼。总结一下,一般会是这么几个方面:
研发流程混乱。团队有大量新人的时候,如何能确保每次代码提交都不会出错?跨团队协作的时候,如何让所有人对于流程理解都是一致的?如何能不用一个scm团队来解决这个问题?其实我们的实践中scm团队也解决不了,如果没有完善的工具支持,很难确保万无一失。
质量无法保障。测试用例覆盖,规约扫描,安全检查是否都能实打实的保障,如何去促进代码质量逐步提高,而不是形成破窗效应后越来越差。
环境管理低效和资源浪费。这个一直是运维工程师的痛,尤其是测试环境。微服务化后,这个问题更加严重,服务之间互相依赖。管理复杂度和工作量成倍提升。还好我们有了容器化的救命稻草,但是仍然无法解决应用稳定性问题。稳定性不好直接导致开发工作互相block,最终拖慢我们整个团队效率。
繁杂的开源工具。用一堆工具攒出来的流程能否一站式解决所有问题,并且有比较好的体验?这要画一个问号。
看到这些问题,我想大家不由自主的会想到云计算,容器化,DevOps等等新的名词,那我们首先看看目前这几个在业界的形势如何。
持续交付与云计算
这是我从2016中国软件开发者白皮书中摘录的一些信息。首先看到的是企业上云成为趋势,因为上云可以大大减少我们的it成本,不管是公共云还是私有云。目前来看私有云还是首选,最近3年从7%增长到27%,混合云是目前比较流行的玩法。
DevOps成为业界热词。DevOps给大家带来的直接的想法是将两种角色合二为一,效率肯定有提高,因此可以看到86%的企业不同程度上使用了DevOps相关工具,大部分是Docker和Jenkins。不难理解,这两个工具是目前最容易上手的。
最后是企业对开发工具和流程的认可,绝大部分企业都有严格的研发流程对开发工作进行规范,7成人群在其中受益,并且21%开发者希望公司能加大在这方面投资。这个数字挺有意思,可能表明还有3成的员工还在痛苦挣扎,等待救援。
持续交付与DevOps
看了以上我们管理者的痛点,回到正题,持续交付和DevOps,如何能使用这两个理念来解决我们软件生产中的问题?先看看两者要解决的核心问题。
首先是持续交付,核心是需求小批量流转,配合自动化流水线,实现软件短周期的频繁交付。
DevOps的核心是什么?几个关键词:一种方法和文化,自动化、度量和分享,基础设施即代码。
在这里名词解释并不是我的重点,先撇去概念看本质,其实两者都是在说效率与成本这两个词。如何做到效率最高,如何做到成本最低,就是我们研发平台要解决的核心问题。
下面我会重点围绕这两个主题,来介绍阿里巴巴如何做到高效协作和成本控制。
二、高效协作&成本控制
研发模式全自动化
说起自动化我们就想到了流水线,但是仅仅是流水线还是不够的,它仅仅解决的是发布过程自动化问题,并无法完全解决开发者的日常协作问题。比如什么时候拉分支,什么时候合并代码,需要达到什么样的标准,发布分支怎么处理,如何和流水线自动的结合起来。这些才是开发日常工作中最繁琐,最容易出错的事情。
如何将研发模式固化下来,并形成全集团的几套规范,落地平台?如何让开发之间的协作都一键化,自动化?这是云效首先要解决的问题。
在我们的实践中,将分支模式、自由模式、gitflow模式抽象到产品层面,穿插在流水线前中后,实现研发模式全自动化。真正的做到了研发过程全上平台,所有数据可追踪,并且彻底杜绝了漏发、错合、管理混乱的情况。甚至开发只需要会checkout和push,其他的都交给平台处理。
总结一下就是规范操作、高效协作、避免错误。分支模式和自由模式已经在云效开放,其他模式和高级配置功能正在陆续开放中。
统一技术栈和运维栈
研发过程统一了,那么接下来要面对的就是技术栈和运维栈。我想绝大部分企业都不太喜欢自己的技术栈过于庞杂,这会给员工带来很大的学习成本,比如阿里巴巴主要是Java,我们可以投入很大精力去做框架,去做JVM优化,建设中间件,包括很多测试方案都会基于这个技术栈来做。运维栈更不用说,标准化才能带来成本的节省和效率的提升。
阿里是从以下五个方面来保障技术栈和运维栈统一的。
首先我们有基于不同研发模式和流水线的视图,根据不同的技术栈,在流水线视图上也略有不同。打个比方:C类应用的发布比Java类的就略显复杂,他们在依赖软件包的更新和参数维护上略有差异,我们通过不同的流程组件来解决。
其次是代码推荐,其中包括各种语言技术栈,最新的玩法和框架,让我们平台成为了新技术推广的窗口。
运维模板会包含软件包的模板,Dockerfile,环境规划等等。我们会提供标准化推荐,各个BU技术负责人也可以在平台上针对自己的部门进行定制和维护。所有这些都会在应用创建时确定,普通开发基本不需要介入和了解。
最后两层可以归纳到基础设施层面,统一的应用运维平台,负责机器资源和相关软件资源的分配。系统软件帮我们解决虚拟化和运行环境问题。
这五个层次共同协作才能完整实现技术栈和运维栈的统一,而云效在阿里巴巴正是我们看到的paas和iaas层的对普通研发人员统一出口,并且负责将这些服务粘合起来。比如最新的发布技术、中间件隔离技术、灰度切流技术、测试技术等等。
全云化测试平台
前面从研发、技术、运维角度讲了如何帮助开发高效协作。下面会讲两个成本控制的例子。
首先是全云化测试平台,阿里巴巴虽然技术栈大体统一,但是仍然避免不了各个BU在测试方面的创新,各种工具,各种平台必然会导致一些重复建设和资源浪费。最近几年我们开始建设全云化测试平台,首先他要做的是将各种测试工具通过统一的标准接入进平台,再通过统一的调度引擎为测试工作提供资源保障。当资源由我们来控制的时候,就可以创新出很多资源节省的策略,比如动态伸缩,资源池复用,离在线混布等等。目前我们每日的任务是已经达到了10w+。
可以从这个图中看出用户的各种测试工具统一运行在我们的Test engine上,资源来自集团ECS和Docker池,并且在云效我们支持了企业自研自动化测试工具的接入,方便用户将自己的测试方案在企业内部推广和落地。
测试环境隔离
下面我们看下测试环境,大家可别小看了线下测试所带来的资源成本。在阿里目前线下测试物理机规模已经达到数万台。随着微服务化的推进,应用数量和依赖复杂度都被迅速放大,如何管理好测试环境和资源已经变得非常棘手。
这里介绍下阿里的一个比较好的实践经验:测试环境隔离。先看下这个图,我们把日常工作环境分为三部分,第一个是开发机,调用请求的发起方,可能就是我的一个笔记本。第二是隔离环境,里面部署着我们需要联调的应用A1、B1、C1。这三个应用正在实现我们一个要上线的需求。当然我的调用链路会很长,有更多的依赖方,自然我们需要一个基础环境,这个环境里部署着我们所有的应用。
类似这种隔离设计,既保障了业务联调又节省了大量机器资源,当然最关键是我们如何实现服务之间的调用隔离。在阿里内部http统一接入、全链路追踪和统一中间件技术,帮助我们实现了无业务侵入性的服务隔离,不需要额外的运维工作,只需要在系统上划出相应的服务范围,对于调入请求会自动进行染色操作,不管这个请求调用到哪里,不管是同步还是异步,最终都可以保证A、B、C服务在两个环境中的互斥关系。
未来类似的环境规划和服务隔离能力也会在云效开放。总结一下就是环境复用、一键申请、快上快下、无代码侵入。
企业级持续交付
我们看下一个持续交付平台如何才能做到真正的企业级。
第一个阶段应用创建,元数据维护,代码推荐,技术栈模板,流水线。第二是测试验收,静态扫描、代码规约、安全测试等等。测试完成我们需要部署,就涉及到环境的标准化,企业统一的环境规划,运维模板和云化的动态伸缩能力可以为我们大大节省成本。最终要发布前还需要管理审核、验收卡点、发布窗口等等管控策略。最后上线过程一定需要分批滚动、过程监控和快速回滚能力。
如此五大内容基本可以满足我们开发人员日常的研发活动,不断地在这几个过程中流转,实现最终持续交付目标。
三、阿里DevOps落地
应用为中心的DevOps理念
接下来我们回到DevOps这个热词上,和大家分享下阿里巴巴如何实现DevOps落地,从开发工程师角度怎么看待DevOps这个运动。
第一点我要提的是以应用为中心的DevOps理念。应用信息其实可以归纳为cmdb中的一种数据,它对于研发人员天然是亲切的,它可以直接对应一个服务,一个代码库。从代码为起点,又可以串联流水线、环境、测试和资源,最外围工具链监控、db、运维、中间件等等。
用应用串联整个工具链,可以让开发顺理成章的理解和打通DevOps整体过程。不会存在开发说代码,说服务,运维说机器,说机房这种鸡同鸭讲的情况出现。
当工具通过应用打通后,开发就可以顺理成章的在平台上定义它的应用,同时也是在定义运维。比如我可以规划环境,创建资源,设置发布策略等等。
完成定义后,谁定义就要谁负责,因此在阿里,开发需要为应用全生命周期负责,也就是我们看到的这整个大圈。通过类似理念和运维自动化工具化的推进,dev潜移默化的接手了ops的工作,会发现原来这些东西并没有那么复杂。
应用生命周期自助管理
下面我们看一个实际的例子,这是我们一个应用上线过程,信息初始化,代码推荐,配置设置,资源申请,step by step完成。
不论是测试环境还是生产环境,不管是技术栈还是运维栈,全部由开发工程师来定义。在全过程中只需要一次审核操作,分钟级即可完成应用注册和发布。
说到全生命周期管理,我们在应用上线后,还会配合度量系统,评估应用健康状况和资源使用情况,对长尾应用进行及时清理和资源调整。
容器化助力DevOps落地
再来看容器化。阿里巴巴从2016年双11前开始大规模推广容器化技术,到今年双11已经完成了几乎所有活跃应用的容器化,这是一个非常惊人的技术革命。为什么我们要这么大力气去推动改变,容器化对DevOps又有何帮助?
大家可以看这个图,左侧是在容器化前,我们要做的事情和所需要的角色。软件包管理、基线变更、运维脚本的修改、资源申请、扩缩容等等,哪个工作离不开运维工程师。这些事情门槛高,手工程度大,变更方式复杂,最终导致两个角色协作效率低下。
右侧是我们容器化后的情况,原先软件包管理、基线变更、运维脚本统统交给了dockerfile来解决。在代码库里管理,并通过流水线实现变更,大大简化了变更复杂度。另一部分比如日志清理,巡检类的运维脚本我们通过全网命令通道插件化的承载在ops工具上,负责同学转型为工具开发来维护插件的可靠性。
其他资源类的事情统一由容器调度解决,其中包括统一调度开发,规模化运维相关算法开发等等,通过人工智能,通用性的解决资源利用率问题,比如2017年双11落地的离在线混布技术。
通过容器化,我们实现了环境标准化,运维服务的下沉,智能化的解决了效率和成本问题。因此可以说通过容器化改造,DevOps理念真正在阿里落地。
松管控和强卡点
最后还有一个比较关键的点,当开发开始定义运维,接手运维的时候,我们管理者会不会有些担忧,比如会不会开发任意操作导致线上故障,随意发布导致稳定性问题等等。
在阿里我们建设平台的核心理念是松管控和强卡点。先看松在哪里?松在我们有多种流水线可以供开发选择,应用owner可以完整定义这个应用的各种规则,比如如何发布,如何测试,资源、环境配置如何。我们有通用构建和自定义构建给用户最大自由度,最后我们是轻发布,重恢复。在每一个应用维度,开发可以随时使用流水线来交付代码,而并不需要特别的限制,仅仅需要思考的是如果出问题,我们应该如何快速恢复。
在足够的自由度下我们还有一些卡点可供选择,比如代码审核和质量红线,规约检查,发布窗口,和前后端联动。这些卡点是为了保障集团所有开发工程师步调统一,交付合格的产品。
持续交付核心是快速交付价值,给与开发最大自由度,负责开发和运维全部过程。在监控、故障防控工具,功能开关的配合下,可以在保障用户体验和快速交付价值之间找到平衡点。
四、云效实践
上手云效最佳路径
最后我们看看如何通过云效提高研发效能。首先可以通过首页的快速开始完成创建产品空间,创建代码库,选择我们的研发模式,创建应用,也就是刚我们所说的非常重要的基础元数据。然后配置构建、机器、部署规则,并通过流水线完成交付。
云效会提供一些模板和测试机器,帮助我们快速上手。
使用持续交付流水线
大家现在看到的是我们系统一个流水线的视图,根据不同的研发模式,视图会略有不同。云效根据现代企业软件研发特点,自主研发了全新的流水线。不同的团队,比如研发、测试、运维都可以在不同的stage上工作,并且互不干扰。而且有多种触发机制可供选择,阿里优秀的组件还在陆续开放中。
无侵入的构建加速
再来看下构建,云效完全自研的全云化构建调度系统,拥有经过阿里云安全团队认可的安全加固机制。并且根据不同技术栈提供了自适应的构建缓存策略,避免依赖的重复下载,大大节约构建时间,提高开发过程效率。开发在使用云效只需要选择他的技术栈和构建命令,其他都可以交给平台自动化完成。
全网部署能力
再看下部署能力,不管是公共云,还是专有云,还是其他云主机,云效都可以接入并执行部署。他是基于阿里内部的agent的技术,安全高效,此技术已经在阿里巴巴全网部署并且经过多年改进。
如下图所示,不管是采购云效公共云还是专有云,我们的主机都无需暴露公网就可直接接入,可选择通过internet或者专线对不同的云进行互联,对开发人员屏蔽底层机器资源细节,提高自动化程度和工作效率。
Docker、EDAS、ECS任意切换
云效目前支持Docker、Edas、Ecs三种部署方式,对每个应用的每个环境都可单独定义它的部署方式,并且实现任意切换,方便快捷。比如我们生产环境使用edas保障稳定,测试环境使用ecs混合部署节省资源都是可以实现的,非常方便。
在我们做运维栈转型升级的时候,可以通过修改部署配置进行平滑升级,如果有问题,我们还可以实现一键回滚。云效保存着历史所有软件发布升级的基线数据随时可查,随时可rollback,这些都是阿里巴巴内部多年积累的实践经验。
作者介绍
陈鑫(花名神秀),阿里巴巴高级技术专家,负责阿里集团持续交付平台和研发工具建设,致力于企业研发效率、产品质量、DevOps方向研究和探索。在阿里6年带领过大数据测试团队、测试工具研发团队、持续交付平台团队。对研发协同、测试、交付、运维领域都有很深的见解。