navicat运行db文件_使用 YAML 文件配置 Jenkins 流水线

本文转载自：Jenkins 中文社区

这也是一种自定义流水线 DSL 的方法

几年前，我们的 CTO 写了一篇关于 使用 Jenkins 和 Docker 为 Ruby On Rails 应用提供持续集成服务 的文章。这些年，我们一直使用这个 CI 流水线解决方案，直到我们最近决定做一次升级。为什么呢？

  • Jenkins 的版本过低，已经很难升级
  • Wolox 过去几年增长显著，一直面临着如何伸缩的问题
  • 只有极少数人如何修复 Jenkins 服务的问题
  • 配置 Jenkins 任务不是一件简单的任务，使我们的项目启动过程变慢
  • 更改每个作业运行的命令也不是一件简单的任务，并且有权限更改的人并不多。 Wolox 拥有广泛的项目，语言种类繁多，使得这个问题尤为突显。

考虑到这些问题，我们开始深入研究最新版的 Jenkins，看看如何提升我们的 CI 服务。我们需要构建一个新的CI服务，至少要解决以下问题：

  • 支持 Docker 构建。我们的项目依赖的一个或多个 Docker 镜像的执行（应用，数据库，Redis 等）
  • 如有必要，易于配置和复制
  • 易于增加新项目
  • 易于修改构建步骤。工作在项目上的所有人都应该能修改它，如果他们希望执行 npm install 或 yarn install

安装Jenkins和Docker
安装 Jenkins 非常简单，直接从 官方教程 选择一种方式安装。
以下是我们在 AWS 上的安装步骤：
sudo rpm — import https://pkg.jenkins.io/debian/jenkins.io.key sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins.io/redhat/jenkins.repo sudo yum install java-1.8.0 -y sudo yum remove java-1.7.0-openjdk -y sudo yum install jenkins -y sudo yum update -y sudo yum install -y docker
从 GitHub 上自动添加项目
从 Github 上自动添加项目可以通过 GitHub Branch Source 插件实现。它能将 GitHub 的组织中符合规则的项目自动添加到 Jenkins 中。唯一的约束就是在每一个分支下都必须有一个 Jenkinsfile，用于描述如何构建项目。
易于修改的配置
我们之前使用 Jenkins 最痛苦的是修改项目的构建步骤。在 Jenkins 任务中，你会看到像以下代码（用于构建）：
#!/bin/bash +x set -e # Remove unnecessary files echo -e "033[34mRemoving unnecessary files...033[0m" rm -f log/*.log &> /dev/null || true &> /dev/null rm -rf public/uploads/* &> /dev/null || true &> /dev/null # Build Project echo -e "033[34mBuilding Project...033[0m" docker-compose --project-name=${JOB_NAME} build # Prepare test database COMMAND="bundle exec rake db:drop db:create db:migrate" echo -e "033[34mRunning: $COMMAND033[0m" docker-compose --project-name=${JOB_NAME} run -e RAILS_ENV=test web $COMMAND # Run tests COMMAND="bundle exec rspec spec" echo -e "033[34mRunning: $COMMAND033[0m" unbuffer docker-compose --project-name=${JOB_NAME} run web $COMMAND # Run rubocop lint COMMAND="bundle exec rubocop app spec -R --format simple" echo -e "033[34mRunning: $COMMAND033[0m" unbuffer docker-compose --project-name=${JOB_NAME} run -e RUBYOPT="-Ku" web $COMMAND
在构建步骤后，执行 Docker 构建的清理工作：
#!/bin/bash +x docker-compose --project-name=${JOB_NAME} stop &> /dev/null || true &> /dev/null docker-compose --project-name=${JOB_NAME} rm --force &> /dev/null || true &> /dev/null docker stop `docker ps -a -q -f status=exited` &> /dev/null || true &> /dev/null docker rm -v `docker ps -a -q -f status=exited` &> /dev/null || true &> /dev/null docker rmi `docker images --filter 'dangling=true' -q --no-trunc` &> /dev/null || true &> /dev/null
尽管这些命令并不复杂，但是更改其中的任何命令都需要具有权限的人员来操作相应的 Jenkins 任务，并清楚知道自己需要做什么。
Jenkinsfile的成与败
使用当前的 Jenkins 版本，我们可以利用 Jenkins pipeline 对我们的构建流进行建模，并保存到一个文件中。 该文件会被签入代码库。因此，任何有权访问它的人都可以修改其中的步骤。棒极了。
Jenkins 流水线还支持：

  • Docker 及多个镜像可用于构建
  • 使用 withEnv 设置环境变量，还支持很多其它内建的 函数

这为 Wolox 提供了完美的用例。我们可以将构建配置写入到一个被检入到代码库的文件中，并且允许任务有权限访问的人修改。但是，一个简单的 Rails 项目的 Jenkinsfile 看起来却像这样：
# sample Jenkinsfile. Might not compile node { checkout scm withEnv(['MYTOOL_HOME=/usr/local/mytool']) { docker.image("postgres:9.2").withRun() { db -> withEnv(['DB_USERNAME=postgres', 'DB_PASSWORD=', "DB_HOST=db", "DB_PORT=5432"]) { docker.image("redis:X").withRun() { redis -> withEnv(["REDIS_URL=redis://redis"]) { docker.build(imageName, "--file .woloxci/Dockerfile .").inside("--link ${db.id}:postgres --link ${redis.id}:redis") { sh "rake db:create" sh "rake db:migrate" sh "bundle exec rspec spec" } } } } } } }
这样的文件不仅难以理解，还难以修改。这样的构建逻辑非常容易被破坏，如果你不熟悉 Groovy。如果你对 Jenkins 流水线是如何工作的一无所知，就更容易了。这样，修改或增加一个新的 Docker 镜像就变得不简单，也容易导致混淆。
通过 YAML 配置 Jenkins 流水线
就个人而言，我总是期望为 CI 配置简单的配置文件。这次我们有机会构建使用 YAML 文件配置的 CI。经过分析，我们总结出以下这样的 YAML，它已经能满足我们的需求：
config: dockerfile: .woloxci/Dockerfile project_name: some-project-name services: - postgresql - redis steps: analysis: - bundle exec rubocop -R app spec --format simple - bundle exec rubycritic --path ./analysis --minimum-score 80 --no-browser setup_db: - bundle exec rails db:create - bundle exec rails db:schema:load test: - bundle exec rspec security: - bundle exec brakeman --exit-on-error audit: - bundle audit check --update environment: RAILS_ENV: test GIT_COMMITTER_NAME: a GIT_COMMITTER_EMAIL: b LANG: C.UTF-8
它描述了项目基本的配置、构建过程中需要的环境变量、依赖的服务、还有构建步骤。
Jenkinsfile + Shared Libraries = WoloxCI
经过调研 Jenkins 和流水线之后，我们发现可以通过扩展共享库（shared libraries）来实现。共享库是用 Groovy 编写的，可以导入到流水线中，并在必要时执行。
如果你细心观察以下 Jenkinsfile，你会看到代码是一个接收闭包的方法调用链，我们执行另一个方法将一个新的闭包传递给它。
# sample Jenkinsfile. Might not compile node { checkout scm withEnv(['MYTOOL_HOME=/usr/local/mytool']) { docker.image("postgres:9.2").withRun() { db -> withEnv(['DB_USERNAME=postgres', 'DB_PASSWORD=', "DB_HOST=db", "DB_PORT=5432"]) { docker.image("redis:X").withRun() { redis -> withEnv(["REDIS_URL=redis://redis"]) { docker.build(imageName, "--file .woloxci/Dockerfile .").inside("--link ${db.id}:postgres --link ${redis.id}:redis") { sh "rake db:create" sh "rake db:migrate" sh "bundle exec rspec spec" } } } } } } }
Groovy 语言足够灵活，能在在运行时创建声明式代码，这使我们能使用 YAML 来配置我们的流水线！
Wolox-CI介绍
wolox-ci 诞生于 Jenkins 的共享库。以下是关于 Wolox-CI 的具体使用方式。
使用 wolox-ci，Jenkinsfile 被精简成：
@Library('wolox-ci') _ node { checkout scm woloxCi('.woloxci/config.yml'); }
它会检出代码，然后调用 wolox-ci。共享库代码会读取到 YAML 文件，如下：
config: dockerfile: .woloxci/Dockerfile project_name: some-project-name services: - postgresql - redis steps: analysis: - bundle exec rubocop -R app spec –format simple - bundle exec rubycritic –path ./analysis –minimum-score 80 –no-browser setup_db: - bundle exec rails db:create - bundle exec rails db:schema:load test: - bundle exec rspec security: - bundle exec brakeman –exit-on-error audit: - bundle audit check –update environment: RAILS_ENV: test GIT_COMMITTER_NAME: a GIT_COMMITTER_EMAIL: b LANG: C.UTF-8
然后，Jenkins 就会执行你的构建任务。
共享库有一个好处是我们可以集中扩展和修改我们的共享库代码。一旦添加新代码，Jenkins 就会自动更新它，还会通知所有的任务。
由于我们有不同语言的项目，我们使用 Docker 来构建测试环境。WoloxCI 假设有一个 Dockerfile 要构建，并将在容器内运行所有指定的命令。
config.yml 各部分介绍
config部分
这是 config.yml 的第一部分，用于指定基本配置，包括项目的名称，Dockerfile 的路径。Dockerfile 用于构建镜像，所有的命令都运行在该镜像的容器中。
Services 部分
这部分定义了哪些服务被暴露到容器中。WoloxCI 支持以下开箱即用的服务：postgresql、mssql 和 redis。你还可以指定 Docker 镜像的版本。
增加一个新的服务类型也不难。你只需要在该目录下（https://github.com/Wolox/wolox-ci/tree/development/vars）添加，然后告诉共享库该服务是如何被转换的，如https://github.com/Wolox/wolox-ci/blob/development/src/com/wolox/parser/ConfigParser.groovy#L76
Steps 部分
在此部分列出的命令，都会被运行在 Docker 容器中。你可以在 Jenkins 界面上看到每一步的执行结果。

046814508f67dbab79dbdde2b25ac89e.png

Environment 部分
如果构建过程需要一些环境变量，你可以在这部分指定它们。Steps 部分中描述的步骤执行过程中，Docker 容器会提供你设置好的所有环境变量。
总结
目前，WoloxCI 还在我们所有项目中一小部分项目进行测试。这让有权限访问它的人通过 YAML 文件更改构建步骤。这是对我们 CI 工作流程来说是一个重大改进。
Docker 使我们轻松更换编程语言，而不用对 Jenkins 安装做任何的更改。并且，当检查到 GitHub 组织中的新项目（项目中有 Jenkinsfile）时，Jenkins GitHub Branch Source 插件会自动添加新的 Jenkins 项目。
所有这些改进节约了我们维护 Jenkins 的大量时间，并使我们可以轻松扩展而无需任何额外配置。
译者小结
本文最大的亮点是它介绍了一种实现自定义构建语言的方式。通过 Jenkins 的共享库技术，将构建逻辑从 Jenkinsfile 中移到了 YAML 文件中。同样的，我们可以将构建逻辑移动 JSON 文件中，或者任何格式的文件中，只你的共享库能解析它，并将它转换成 Jenkins 能理解的格式。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/555079.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Mybatis-Plus实现逻辑删除

Mybatis-Plus实现逻辑删除

数据库中的数据删除会分为两种：物理删除 和 逻辑删除 物理删除 物理删除就是我们删除数据库中的一条数据时，数据会真的被删除 逻辑删除 逻辑删除指的是我们删除一条数据时，数据不会在数据库中消息，逻辑删除是我们现在开发中经…
阅读更多...
完美国际单机修改服务器端,完美国际改国内版单机一键服务端

完美国际单机修改服务器端,完美国际改国内版单机一键服务端

最喜欢的一款网游，曾经出来的时候可以说是划时代的，3D游戏，空战，大地图无缝对接等。从比较早的113版本，经典的六职业136版本，到现在的155版本。都保存的有。玩官服就不说啦，从13年接触服务端到现…
阅读更多...
开发 数组里面的字典_Redis字典结构与rehash解读

开发 数组里面的字典_Redis字典结构与rehash解读

关注公众号：后端技术漫谈，技术之路不迷路~字典是一种用于保存键值对的抽象数据结构，也被称为查找表、映射或关联表。在字典中，一个键(key)可以和一个值(value)进行关联，这些关联的键和值就称之为键值对。抽象数据结构&…
阅读更多...
MyBatisPlus 学习笔记_MP的AR模式

MyBatisPlus 学习笔记_MP的AR模式

狂神说 MyBatisPlus 学习笔记 一、快速入门 文档：https://mp.baomidou.com/ 使用第三方组件： 导入对应依赖研究依赖如何配置代码如何编写提高扩展技术能力 步骤： 1、创建数据库 mybatis_plus 2、创建user表 DROP TABLE IF EXISTS user;CREATE…
阅读更多...
ajax调用java程序,从微信小程序到鸿蒙JS开发-JS调用Java

ajax调用java程序,从微信小程序到鸿蒙JS开发-JS调用Java

除轻量级智能穿戴设备，现鸿蒙支持的手机、汽车、TV、手表、平板等属于富鸿蒙，在JS语言的项目中也有Java模块，并提供了JS跨语言调用Java方法的技术。现需要实现查看商品评论时，统计出长评、中评和短评的比例，这里将评论…
阅读更多...
文本删除空行_010 Editor for mac(文本和十六进制编辑器)

文本删除空行_010 Editor for mac(文本和十六进制编辑器)

为大家带来最新版本的010 Editor for mac，这是一款专业的文本和十六进制编辑器，新版本的010 editor mac版包含了语法突出显示、更多字符集支持、添加了删除行和删除空行命令等新功能，另外修复了各种错误，功能更加全面。010editor …
阅读更多...
Mybatis-Plus之四种lambda方式LambdaQueryWrapper，QueryWrapper＜实体＞().lambda()，LambdaQueryChainWrapper＜实体＞

Mybatis-Plus之四种lambda方式LambdaQueryWrapper，QueryWrapper＜实体＞().lambda()，LambdaQueryChainWrapper＜实体＞

Mybatis-Plus之四种lambda方式 lambda四种表达形式 前言 使用了lambda表达式 可以通过方法引用的方式来使用实体字段名的操作&#xff0c;避免直接写数据库表字段名时的错写名字&#xff1b; 一、LambdaQueryWrapper<> /*** lambda 条件构造器* 生成的sql语句 SELECT…
阅读更多...
sql怎么修改服务器角色,sql角色服务器的设置

sql怎么修改服务器角色,sql角色服务器的设置

sql角色服务器的设置 内容精选换一换如果您需要对华为云上购买的DDM资源&#xff0c;为企业中的员工设置不同的访问权限&#xff0c;为达到不同员工之间的权限隔离&#xff0c;您可以使用统一身份认证服务(Identity and Access Management&#xff0c;简称IAM)进行精细的权限管…
阅读更多...
MyBatis-Plus——字段类型处理器TypeHandler

MyBatis-Plus——字段类型处理器TypeHandler

字段类型处理器&#xff08;TypeHandler&#xff09; 1&#xff0c;准备工作 &#xff08;1&#xff09;MyBatis 中的 TypeHandler 类型处理器用于 JavaType 与 JdbcType 之间的转换&#xff0c;假设我们用户表中有一个联系方式字段&#xff0c;类型为字符串&#xff1a; &am…
阅读更多...
额外参数_Pytorch获取模型参数情况的方法

额外参数_Pytorch获取模型参数情况的方法

分享人工智能技术干货&#xff0c;专注深度学习与计算机视觉领域&#xff01;相较于Tensorflow&#xff0c;Pytorch一开始就是以动态图构建神经网络图的&#xff0c;其获取模型参数的方法也比较容易&#xff0c;既可以根据其内建接口自己写代码获取模型参数情况&#xff0c;也可…
阅读更多...
Mybatis-Plus之逻辑删除

Mybatis-Plus之逻辑删除

概念 什么是逻辑删除 逻辑删除：假删除。将对应数据中代表是否被删除字段状态修改为“被删除状态”，之后在数据库中仍旧能看到此条数据记录。 数据库实现思路：插入数据时，标记为未删除状态；查询、修改时，只获取未删除状态的数据进行操作；删除时则更新删除状态为已删除…
阅读更多...
查看分支编码_MySQL分支数据库MariaDB之CentOS安装教程

查看分支编码_MySQL分支数据库MariaDB之CentOS安装教程

MariaDB数据库管理系统是MySQL的一个分支&#xff0c;由MySQL的创始人Michael Widenius主持开发。采用GPL授权许可 MariaDB的目的是完全兼容MySQL&#xff0c;包括API和命令行&#xff0c;在存储引擎方面&#xff0c;使用XtraDB(英语&#xff1a;XtraDB)来代替MySQL的InnoDB。1…
阅读更多...
关联规则算法c语言样例及分析_推荐系统总结系列-关联规则算法（四）

关联规则算法c语言样例及分析_推荐系统总结系列-关联规则算法（四）

基于关联规则的推荐有三种方法&#xff1a;Apriori关联规则算法FP Tree关联规则算法&#xff1b;PrefixSpan关联规则算法&#xff1b;关联规则挖掘推荐算法&#xff1a;关联规则挖掘是一种在大规模交易中识别类似规则关系模式的通用技术&#xff0c;可以应用到推荐系统中。交易…
阅读更多...
Mysql - Innodb锁、事务与隔离级别

Mysql - Innodb锁、事务与隔离级别

我们的数据库一般都会并发执行多个事务&#xff0c;多个事务可能会并发的对相同的一批数据进行增删改查操作&#xff0c;可能就会导致脏写、脏读、不可重复读、幻读这些问题。 这些问题的本质都是数据库的多事务并发问题&#xff0c;为了解决多事务并发问题&#xff0c;数据库…
阅读更多...
语言非递归求解树的高度_算法素颜（11）：无死角“盘”它！二分查找树

语言非递归求解树的高度_算法素颜（11）：无死角“盘”它！二分查找树

引言《菜鸟也能“种”好二叉树&#xff01;》一文中提到了&#xff1a;为了方便查找&#xff0c;需要进行分层分类整理。而满足这种目标的数据结构之一就是树。树的叶子节点可以看作是最终要搜寻的目标物&#xff1b;叶子节点以上的每一层&#xff0c;都可以看作是一个大类别、…
阅读更多...
Mysql InnoDB存储引擎的锁相关

Mysql InnoDB存储引擎的锁相关

Mysql InnoDB存储引擎的锁相关 InnoDB下&#xff0c;mysql四个级别隔离下加锁操作 四个级别隔离的写操作都加X锁串行化下读加S锁select … for update, select … lock in share mode 分别加x锁&#xff0c;s锁在需要加锁的场景下&#xff0c;会根据情况使用三种加锁策略&…
阅读更多...
显示器尺寸对照表_电脑显示器尺寸对照表一览，教你怎么选择最适合自己的显示器尺寸...

显示器尺寸对照表_电脑显示器尺寸对照表一览，教你怎么选择最适合自己的显示器尺寸...

显示小课堂&#xff1a;显示器买大买小谁说了算&#xff1f; [本文来自&#xff1a;www.ii77.com]今天&#xff0c;笔者想和大家讨论一下关于显示器尺寸选择方面的问题。通过这两年显示器行业的发展我们不难看出&#xff0c;现在显示器的尺寸越来越大&#xff0c;三十几吋、四十…
阅读更多...
MySQL事务隔离级别理解_解读MYSQL的可重复读、幻读及实现原理

MySQL事务隔离级别理解_解读MYSQL的可重复读、幻读及实现原理

前言 提到事务&#xff0c;你肯定不会陌生&#xff0c;最经典的例子就是转账&#xff0c;甲转账给乙100块&#xff0c;当乙的账户中到账100块的时候&#xff0c;甲的账户就应该减去100块&#xff0c;事务可以有效的做到这一点。 在MySQL中&#xff0c;事务支持实在引擎层实现的…
阅读更多...
MySQL 是如何实现四大隔离级别的？

MySQL 是如何实现四大隔离级别的？

MySQL 是如何实现四大隔离级别的&#xff1f; 在mvcc下&#xff0c;mysql中用到的锁还是共享锁和排他锁么&#xff1f;如果是的话&#xff0c;那么是怎样结合锁和mvcc来实现rc和rr隔离级别的呢&#xff1f;还有mysql中在ru隔离级别下&#xff0c;两个事务同时读取数据对象A&am…
阅读更多...
Linux命令 移动/复制文件/目录到指定目录下

Linux命令 移动/复制文件/目录到指定目录下

1、同一个服务器下复制文件或文件夹 1.1 复制文件 复制文件&#xff1a;把1.txt 复制到根目录下的sbin目录 cp 文件名&#xff08;可带路径&#xff09;目标路径&#xff08;带路径&#xff09;如&#xff1a;cp 1.txt ~/sbin/1,2 复制目录 复制目录&#xff1a;把relea…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023