7招,实现安全高效的流水线管理

简介:云效团队多年来为阿里巴巴内部(Aone)和云上企业用户(云效)分别提供研发运维工具,并致力于打造企业级一站式的 DevOps 平台,更多关注不同类型的企业用户在使用过程中的管理与协作场景,本文将重点介绍高效安全管理云效流水线的7招。

概述

传统流水线 Pipeline 工具,包括 Jenkins、Teamcity、Travis CI 等产品,作为企业 DevOps 中持续集成/持续交付的核心工具,从核心功能上来说通常可以概括为以下4点:

1、自动化测试:提供代码扫描、安全扫描、单元测试等自动化测试工具,确保代码在集成前已经经过充分测试验证。

2、集成构建:提供各种语言、框架的应用编译打包功能,将源码自动化转化为可以运行的实际代码,比如安装依赖、配置资源等。

3、发布部署:支持多种资源(虚拟主机、K8S等)的发布方式,支持通过灰度发布、分批发布等各种策略,保障业务交付的稳定。随着各种云计算的逐渐普及,出现各种各样的 Iaas/Paas 产品,CI/CD 工具如何支持各种形式的发布场景成为了一大核心价值。

4、流程编排:通过对不同工具和任务的流程编排能力,实现不同 CI/CD 流程把控。通常来说,流水线工具不但支持串联自身提供的测试、构建、部署功能,还会支持企业打通自有的其他工具(比如 git 仓库、自动化测试系统等)。

以上几点,作为 CI/CD 提供的基础功能,本文不做赘述。

云效团队多年来为阿里巴巴内部(Aone)和云上企业用户(云效)分别提供研发运维工具,并致力于打造企业级一站式的 DevOps 平台,更多关注不同类型的企业用户在使用过程中的管理与协作场景,本文将重点介绍高效安全管理云效流水线的7招:

第1招:基于业务特性分组管理流水线
第2招:预置流水线模板/任务组/步骤
第3招:一键批量升级流水线
第4招:设置通用变量组,随调随用
第5招:精细管理主机/集群资源
第6招:灵活管理私有构建集群
第7招:自定义企业maven配置

第1招:基于业务特性分组管理流水线

随着企业业务规模和团队规模的逐步发展,流水线和企业成员的数量越来越多。如何让成员快速定位到自己的流水线,避免成员淹没在一堆与自己无关的内容中,同时保障业务发展的安全性,成为了企业的共同诉求。

云效支持企业管理员可以在单条流水线上设置不同成员的查看、运行、编辑等流水线权限。同时也支持对流水线进行分组,并基于分组对多条流水线批量授权。

image.png

在云效上进行流水线分组操作

分组支持直接按照部门设置权限,这样的好处是部门成员发生变动后,流水线权限也自动发生变化。企业成员入职、离职的变动导致的权限变更可以做到自动化处理。

image.png

基于分组批量设置权限

第2招:预置流水线模板/任务组/步骤

在云效流水线 Flow 中,流水线是按照 流水线 -> 任务组 -> 步骤组成的,流水线可以由多个任务组编排组成,而每个任务组可以由多个步骤编排而成。

image.png

为了方便用户快速创建流水线,云效流水线 Flow 预置了部分流水线模板、任务组、步骤。

image.png

预置的模板可以直接调用

为了支持企业用户更加个性化地配置自己的流水线,云效流水线 Flow 中的流水线模板、任务组、步骤均支持企业自定义创建。可在企业设置中的流水线模板管理-任务组管理-步骤管理中,创建属于企业个性化的内容,企业成员可以在编辑流水线的过程中使用此部分自定义内容。

此外,在流水线模板管理-任务组管理-步骤管理中,企业管理员可以关闭企业不需要的内容以避免造成干扰。

image.png

可在任务组设置中关闭不需要的步骤

第3招:一键批量升级流水线

虽然随着业务规模的增长,企业内部流水线任务越来越多,但由于企业内技术栈基本统一,会出现不同流水线之间只有部分配置(如代码源、虚拟主机组等)存在差异,而大部分配置基本相同的情况。

当企业流水线的某些配置(比如构建脚本、人工卡点的审核人员)需要更改时,修改流水线会导致大量的重复工作。

因此,云效提供了通过任务组实现流水线批量升级的功能。

支持在企业设置中添加任务组时,开启“支持批量升级”功能。

image.png

在任务组中开启「支持批量升级」

企业成员在配置流水线过程中,可以选择已经创建的任务组。此后,企业管理员编辑修改任务组后,会对关联流水线中的任务节点进行升级。

image.png

修改可以同步升级关联流水线

第4招:设置通用变量组,随调随用

定义环境变量是实现流水线过程定制化的一种常见方法,可以在执行过程的任何阶段使用这些变量,云效流水线支持在每条流水线中设置其独有的环境变量。

image.png

在云效流水线中设置环境变量

但是有些变量其实是非常通用的变量,企业内大部分流水线都会用到,这时如果单独在流水线中进行设置,可导致大量重复工作。因此,云效提供了企业级管理变量的通用变量组功能。

支持在企业设置中添加变量组,每个变量组可设置多个变量,且变量均可设置为私密变量,部分敏感参数,如 username、password 等,设置成私密变量后,可以大幅降低安全风险。

image.png

在企业设置中设置通用变量

流水线管理者,只需要在流水线中关联变量组,就可在流水线任务中使用该变量。

image.png

在单独流水线中可以直接配置通用变量

第5招:精细管理主机/集群资源

云效流水线 Flow 支持将你的应用构建发布至虚拟主机或 Kubernetes 集群,同时云效的发布能力并不局限于阿里云服务器(ECS)和阿里云容器服务 Kubernetes(ACK),其他云厂商或者企业自建的虚拟主机或 Kubernetes 集群也可以通过云效实现部署。

在实际生产应用过程中,主机和集群资源作为企业的基础设施,其使用权限需要严格把控,以确保线上业务的安全性。

因此,云效提供了主机组/Kubernetes 集群管理功能,并支持在主机组和集群设置权限。

支持在企业设置中添加主机组,主机组可选择阿里云 ECS 和自有主机两种类型。每个主机组下均可添加多台主机资源,同时可将企业成员设置为主机组成员,拥有权限的成员才可以在流水线中选择该主机组资源。

image.png

在主机组中添加主机资源

同样,支持在企业设置中添加 Kubernetes 集群,主机组可选择阿里云容器服务 Kubernetes(ACK) 和自定义集群两种类型。可将企业成员设置为集群成员,拥有权限的成员才可以在流水线中选择该集群资源。

image.png

自定义 Kubernetes 集群

第6招:灵活管理私有构建集群

云效流水线 Flow 为企业提供了稳定、可靠的构建资源,并提供了北京和香港两个 region 构建集群,企业用户无需再自行创建并维护构建机,降低了企业整体的上云成本。

然而,云效提供的构建统一的免费资源并无法解决部分企业特性问题:

  • 特殊的网络环境,无法直接从公网和云效打通。
  • 特殊的构建机环境,云效无法直接提供。

因此,云效提供了构建集群管理功能,如果有特殊的构建环境需求,用户可在 Flow 中创建并使用私有的构建集群。

云效流水线 Flow 支持使用阿里云 ECS 或者自有主机作为构建集群。

image.png

在流水线的任务节点中,可以选择企业自定义的构建集群执行构建任务。

image.png

第7招:自定义企业maven配置

在云效流水线 Flow 中使用 Java 构建任务,云效流水线 Flow 会自动帮你代理阿里云 Maven 公库和云效企业私库 Packages,企业用户可以将企业依赖文件上传至 Packages 仓库,完成构建依赖下载的打通。

然而,对于使用 Java 技术栈的企业,通常都会有属于企业内部特有的 Maven 配置。

因此,云效提供了企业 Maven 配置功能,支持在企业设置中上传自定义 settings.xml 文件,Flow 会根据你的配置执行 Java 构建任务。

image.png

原文链接

本文为阿里云原创内容,未经允许不得转载。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/511709.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

字节跳动最新音乐检索系统ByteCover2,检索速度提高八倍

翻唱识别(CSI)是音乐信息检索(MIR)领域的一项重要任务,在歌曲搜索,音乐分发,曲库整理,智能推荐等场景下有着重要作用,被誉为下一代音乐识别技术。 近期,字节…

Serverless 场景排查问题利器 : 函数实例命令行操作

简介:实例命令行功能的推出希望能消除用户使用 Serverless 的“最后一公里”,直接将真实的函数运行环境展现给用户。 背景介绍 全托管的 Serverless 计算平台能给用户带来更少的运维代价、更强的稳定性和更快的弹性能力,在 Serverless 落地…

从运维域看 Serverless 真的就是万能银弹吗?

简介:极客时间《Serverless 入门课》作者秦粤最新文章: 再次讨论正当时的 Serverless。文章分为三个部分,分别是 复杂化for 云开发商; 简化 for 开发者,以及团队使用 Serverless 的最佳场景。 作者说 在开始本篇内容前我想与各位开发者达成几…

多任务学习模型之ESMM介绍与实现

简介:本文介绍的是阿里巴巴团队发表在 SIGIR’2018 的论文《Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate》。文章基于 Multi-Task Learning (MTL) 的思路,提出一种名为ESMM的CVR预估模型&#xff…

java pinyin4j 首字母_通讯录之按汉字首字母排序 --java--pinyin4J

最近开发手机端OA系统通讯录时遇到了用汉字首字母排序的问题,各种谷歌后发现了一个轮子pinyin4J,这个轮子是可以将汉字转换成字母拼音,个人觉得很好用,完美的解决了排序的问题,分享一下。一.工具介绍pinyin4j是一个支持…

助力开源生态繁荣,统信软件建设中国桌面操作系统根社区

继 React、SUSE、RedHat 宣布对俄罗斯停服后,近日 Ubuntu 开发商 Canonical 在俄乌冲突下也宣布对俄罗斯企业停止支持和专业服务。 这给我们敲醒了警钟:因为Ubuntu 事件瞄准桌面操作系统,桌面操作系统用户庞大,其安全性属于系统级…

一文详解 | 开放搜索兼容Elasticsearch做召回引擎

简介:开放搜索发布开源兼容版,支持阿里云Elasticsearch做搜索召回引擎,本文详细介绍阿里云ES用户如何通过接入开放搜索兼容版丰富行业分词库,提升查询语义理解能力,无需开发、算法投入,即可获得淘系同款搜索…

人人都是 Serverless 架构师 | 现代化 Web 应用开发实战

简介:本篇实战将介绍如何以超低成本构建动态的 Web 站点,并且实现灵活扩展,限流等效果,最后再跟大家聊一聊“现代应用”的相关概念。 相信很多同学都有过想要拥有自己的 Web 站点的想法,但是如果想要搭建动态的站点&a…

Gartner:如何在中国成功应用多云模式

作者 | Gartner研究总监 杜勇 供稿 | Gartner 当前,中国政府鼓励行业企业通过云计算技术来实施数字化转型,从而加速经济增长。许多企业机构已部署了私有云和单一供应商混合云,以实现这一目标。为了满足全球业务和本地业务需要分别部署在不同的…

java socket 线程池_程序员:java使用线程池和TCP实现简单多轮聊天系统

最近在做物联网项目,需要使用TCP和传感器进行双向交互,通过这种渠道,找到了下面的代码,写成博客主要也是为了记录一下,以后用到随时可以看。代码实现服务端package com.tcp;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.…

阿里云李飞飞:中国数据库的时与势

简介:数据库、操作系统和中间件并列为三大基础软件,无论是在银行存取款,还是进行健康码查询,我们的日常应用和企业业务背后都离不开数据库。可以说,没有数据库,就难以构建数字化底座。过去的40多年&#xf…

阿里巴巴超大规模 Kubernetes 基础设施运维体系介绍

简介:ASI 作为阿里集团、阿里云基础设施底座,为越来越多的云产品提供更多专业服务,托管底层 K8s 集群,屏蔽复杂的 K8s 门槛、透明几乎所有的基础设施复杂度,并用专业的产品技术能力兜底稳定性,让云产品只需…

数据库资深“学霸”再启程,专访数据库初创公司矩阵起源全球 CTO 田丰博士

师出名门,工业界履历从大厂首席工程师到创业公司 CTO,并能一直从事底层系统的核心研发工作,可能是很多优秀技术人向往的光鲜履历。不过抛弃大厂的光鲜稳定工作和成功的创业项目,再次加入初创公司,则需要比常人更大的魄…

Spring官方RSocket Broker 0.3.0发布: 快速构建你的RSocket架构

简介:Spring官方的RSocket Broker其实开发已经非常久了,我以为会伴随着Spring Cloud 2021.0发布的,但是没有发生。不过Spring RSocket Broker还是发布了最新的0.3版本,虽然还是预览版,但目前已经可用,考虑官…

Redis 6 中的多线程是如何实现的!?

作者 | 张彦飞allen来源 | 开发内功修炼Redis 是一个高性能服务端的典范。它通过多路复用 epoll 来管理海量的用户连接,只使用一个线程来通过事件循环来处理所有用户请求,就可以达到每秒数万 QPS 的处理能力。下图是单线程版本 Redis 工作的核心原理图单…

如何构建流量无损的在线应用架构 | 专题开篇

简介:本篇是整个《如何构建流量无损的在线应用架构》系列的第一篇,这一系列共三篇,旨在使用最为朴素的语言将影响在线应用流量稳定性的技术问题做一个归类,这些问题的解决方案有的只是一些代码层面的细节,有的需要工具…

云原生时代的运维体系进化

简介:基于容器、Kubernetes 等云原生技术,提供的开放社区标准、不可变基础设施、声明式 API 会成为企业 CloudOps 的最佳实践,也将在这个基础上推进数据化、智能化体系建设,将运维复杂性进一步下沉,让企业可以聚焦于自…

企业如何从 0 到 1 构建整套全链路追踪体系

简介:本文将分享 ARMS 在全链路追踪领域的最佳实践,分享主要分为四部分。首先,是对分布式链路追踪的整体简介。其次,是对 ARMS 在分布式链路追踪领域的核心能力进行介绍。然后,介绍如何从 0 到 1 构建整套全链路追踪体…

React18 的 useEffect 新特性为什么被疯狂吐槽?

作者 | 零一来源 | 前端印象react18 已经出来一段时间了,create-react-app 默认安装的 React 版本也已经是 18,不知道有没有小伙伴发现自己有点看不懂 React 了?import { useEffect, useState } from reactfunction App () {const [data, set…

如何构建一个流量无损的在线应用架构 | 专题中篇

简介:本篇是整个《如何流量无损的在线应用架构》系列的第二篇,这一系列共三篇,旨在使用最为朴素的语言将影响在线应用流量稳定性的技术问题做一个归类,这些问题的解决方案有的只是一些代码层面的细节,有的需要工具进行…