实现基于 Azure DevOps 的数据库 CI/CD 最佳实践

数据库变更一直是整个应用发布过程中效率最低、流程最复杂、风险最高的环节，也是 DevOps 流程中最难以攻克的阵地。那我们是否能在具体的 CI/CD 流程中，像处理代码那样处理数据库变更呢？

file

DORA 调研报告

DORA（DevOps Research & Assessment）是一家专注于 DevOps 的研究机构， 在该领域以专业与客观著称。自 2014 年以来，DevOps 调研了全球范围内超过 32,000 名专业人员，并以年度报告的形式对外发布研究成果。DORA 明确指出，将数据库变更纳入应用发布流程将显著提升整体发布效率。

file

这一结论并不令人意外。问题是，该怎么做？

一个完整的基于 Azure DevOps 的数据库 CI/CD 工作流

file

通过 Bytebase，我们将实现一个完整的基于 Azure DevOps 的数据库 CI/CD 工作流：

  • 开发者将变更 SQL 脚本提交到代码分支；
  • 触发 Bytebase 提供的 SQL 审核 CI 进行自动化 SQL 审核，并给出修改建议；
  • 修改完成后的 SQL 脚本合并入主分支；
  • 自动触发发布流程，脚本将被推送到 Bytebase 中；
  • Bytebase 内置的自动审核将对变更语句进行二次确认，根据变更风险等级自动匹配审批流，根据审批流进行审批；
  • 审批后的语句可手动或自动触发在目标库中执行；
  • 变更完成后的数据库最新 schema 结构将被自动回写入代码仓库；
  • 确认变更完成后，触发下一阶段的应用发布流程。

通过 Bytebase 社区版实现

让我们一步一步看看这个过程怎样实现的。

第一步 通过 Docker 启动 Bytebase，并配置外部 URL

ngrok 是一个反向代理工具，我们需要它的公网地址，以便从 GitHub 接收 webhooks。这里使用 ngrok 是出于测试目的；对于生产使用，我们建议使用 Caddy。

file

  1. 登录 ngrok Dashboard，并按照 Getting Started 步骤进行安装和配置。
  2. 在 Docker 中运行 Bytebase: 
docker run --init \--name bytebase \--restart always \--publish 5678:8080 \--health-cmd "curl --fail http://localhost:5678/healthz || exit 1" \--health-interval 5m \--health-timeout 60s \--volume ~/.bytebase/data:/var/opt/bytebase \bytebase/bytebase:2.10.0 \--data /var/opt/bytebase \--port 8080
  1. Bytebase 在 Docker 中成功启动，你可以通过 localhost:5678 来访问。注册一个管理员账号。
  2. 在命令行运行 ngrok http 5678，并获得公共 URL。

file

  1. 登录 Bytebase，点击右上角的齿轮，将公共 URL 填入到网络部分的外部 URL，点击更新。

第二步 在 Bytebase 种添加 Azure DevOps Service 作为 Git Provider

  1. 通过公共 URL 来访问 Bytebase，点击右上角的齿轮 > 集成 > GitOps，选择 Azure DevOps Service，点击下一步。你会进入到第二步，拷贝 Redirect URI。点击 直达链接 访问你的 Azure DevOps 账号。

file file

  1. 在 Azure DevOps 的应用注册页面，填写表格如下并保存：
  • Company name: 可以任取一个名字，比如 bb
  • Homepage URL: https://bytebase.com
  • Authorization callback URL: 从 Bytebase 步骤 2 复制的 Redirect URI
  • Authorizied scopes: 找到 Code (full), Identity (read), Project and team (read), Build (read and execute)
  • file
  1. 点击 show，复制 Application ID 和 Client Secret，然后粘贴到 Bytebase 的 GitOps 配置页面步骤 2 里。

file file

第三步 在 Bytebase 中配置一个 GitOps 工作流

  1. 访问 Azure DevOps，并建立一个新项目 bytebase-gitops。
  2. 访问 Bytebase，进入项目 Sample Project。点击 GitOps 标签，选择 GitOps 工作流。点击 配置 GitOps。
  3. 选择 Azure DevOps（就是你在上一步配置的），然后选择 bytebase-gitops 这个项目。你会来到步骤三，保持其它参数不变，滑动到页面底部，勾选 基于 Azure DevOps Pipeline 开启 SQL 审核。点击完成。

file

  1. 系统会自动在 Azure DevOps 中建立实现 CI 的 PR，点击 Complete 手动合并。回到目录，可以看到 pipeline 自动生成。

file

  1. 回到 Bytebase，你会见到 GitOps 工作流已设置成功。

第四步 建立一个 PR（合并请求）去触发 SQL 审核 CI

  1. 点击界面顶端环境，你可以看到在 Prod 最下方有了一个 SQL 审核策略，点击编辑，你会看到有 3 条开启的规则。它们将通过 CI 应用。我们将非空的等级调为错误。

file

  1. 为了测试 SQL 审核 CI，我们将创建一个合并请求来更改 Prod 数据库 schema。不过，我们会让它先违反下 SQL 审核策略。Azure DevOps 上的 bytebase-gitops-az。单击新建分支，命名为 add-nickname-table-employee，点击创建分支。
  2. 在新分支上创建子目录 bytebase，并创建子子目录 prod。在 prod 目录中创建文件 employee##202310201700##ddl##add_nickname_table_employee.sql。将以下 SQL 脚本复制到文件中，并提交更改。

ALTER TABLE "public"."employee" ADD COLUMN "nick_name" text;

  1. 创建包含上述提交的合并请求。SQL 审核 CI 将自动运行并显示失败消息。点击 Tests 可以看到具体的违反规则。

file file

  1. 更新 SQL 脚本并提交到当前分支。SQL 审核 CI 将再次运行并显示通过信息。单击 Complete。

ALTER TABLE "public"."employee" ADD COLUMN "nick_name" text NOT NULL DEFAULT '';

file

  1. 返回 Bytebase 中的 Sample Project，你会看到推送事件开启了一个工单。

file

  1. 到问题详情页面。因为没有配置审批流或手动发布，此工单会自动发布。你可以点击查看变更来查看差异。

file

通过 Bytebase 企业版解锁更多功能

你可以升级到企业版，解锁更多功能。点击页面左下角的开始免费试用并升级到企业版，点击顶部实例，为现有的两个实例分配证书。

手动发布

在环境 > 2.Prod，找到发布策略，然后选择 人工发布 > 需要 DBA 或者 Bytebase 实例所有者发布。

file

自定义审批

  1. 访问设置 > 安全性 & 策略 > 自定义审批。将项目 Project Owner -> DBA 设置为DDL > 高风险的审批流。

file

  1. 访问设置 > 安全性 & 策略 > 风险中心。点击添加规则，然后点击加载第一个模板，点击添加。

file

最新 schema 写回

Schema 变更完成后，Bytebase 会将最新 schema 写回 Git 代码库。这样，团队在 Git 中就始终有一个数据库 schema 的标准真实源。

  1. 返回 Azure DevOps，新建一个分支 add-country-table-employee。在 bytebase/prod 目录下创建文件 employee##202310201700##ddl##add_country_table_employee.sql。将以下 SQL 脚本复制到文件中并提交更改。 ALTER TABLE "public"."employee" ADD COLUMN "country" text NOT NULL DEFAULT '';
  2. 返回 Bytebase，转到新创建的工单，它符合 Project Owner -> DBA 的审批流程。

file

  1. 按照审批流程点击批准后，横幅将显示等待发布。然后，负责人就可以点击发布了。
  2. 回到 GitLab，你会发现在 bytebase/prod/ 下有一个新的文件 .employee##LATEST.sql，包含了 Bytebase 写回的最新 schema。（这里需要开启推送到 main 的权限）

file

Schema 漂移

Bytebase 内置了 schema 漂移检测功能，可以检测到意外的 schema 变更。让我们使用 SQL 编辑器管理员模式来模拟一下。

  1. 点击右上角的终端图标（SQL 编辑器）。你将跳转到 SQL 编辑器。点击管理员模式。在此模式下所做的一切与直接连接服务器相同，Bytebase 不会记录。

  2. 选择左侧的 (Prod) Employee，粘贴并运行以下脚本：

ALTER TABLE "public"."employee" ADD COLUMN "city" text NOT NULL DEFAULT '';

  1. 返回 Bytebase 主页，点击顶部的数据库， 选择 Prod 下的 employee。点击现在同步。看到成功消息后，刷新页面。你将看到 schema 漂移。你可以在实例详情页配置自动扫描，以避免手动同步。

file

  1. 访问异常中心，也会看到 schema 漂移。

总结

有了 Bytebase，你就有了一套完整的 Azure DevOps 数据库 CI/CD 工作流程。你可以将此工作流程应用到自己的项目中，并根据自己的需要进行定制。 Bytebase 也支持 GitLab，GitHub，以及 Bitbucket。具体的配置步骤可以查看 Bytebase 官网文档。

💡 更多资讯，请关注 Bytebase 公号：Bytebase

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/127174.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

.net 写了一个支持重试、熔断和超时策略的 HttpClient 实例池

.net 写了一个支持重试、熔断和超时策略的 HttpClient 实例池

using System; using System.Collections.Concurrent; using System.Net.Http; using System.Threading; using System.Threading.Tasks;/// <summary> /// 表示一个支持重试、熔断和超时策略的 HttpClient 实例池。 /// </summary> public class HttpClientPool :…
阅读更多...
ESXI 的 OVF 文件编辑 方法。

ESXI 的 OVF 文件编辑 方法。

方法一&#xff1a; 用Wrar解压OVF 文件&#xff0c;得到4个文件&#xff1b; 用记事本编辑 ".mf" 或 ".ovf" 文件保存退出&#xff0c;后续全部导入虚拟机ESXI。 方法二&#xff1a;要打开 OVF 文件并在其中查找清单文件 &#xff0c; 你可以按照以下步骤…
阅读更多...
Android studio进入手机调试状态

Android studio进入手机调试状态

首先usb插入电脑手机打开开发者模式进入点击就会在你的页面显示了
阅读更多...
SpringCloud(二) Eureka注册中心的使用

SpringCloud(二) Eureka注册中心的使用

在SpringCloud(一)中,我们学会了使用RestTemplate进行远程调用,但是在调用user-service时候需要在order-service中发送http请求,请求中需要书写对应微服务的ip和端口号,十分不方便,如果此时有多个user-service实例的话,就不知道调用哪个了(除非每次调用的时候都对ip和端口号进行…
阅读更多...
设计模式（单例模式、工厂模式及适配器模式、装饰器模式）

设计模式（单例模式、工厂模式及适配器模式、装饰器模式）

目录 0 、设计模式简介 一、单例模式 二、工厂模式 三、适配器模式 四、装饰器模式 0 、设计模式简介 设计模式可以分为以下三种: 创建型模式&#xff1a;用来描述 “如何创建对象”&#xff0c;它的主要特点是 “将对象的创建和使用分离”。包括单例、原型、工厂方法、…
阅读更多...
数据仓库-拉链表

数据仓库-拉链表

在数据仓库中制作拉链表&#xff0c;可以按照以下步骤进行&#xff1a; 确定需求&#xff1a;首先明确需要使用拉链表的场景和需求。例如&#xff0c;可能需要记录历史数据的变化&#xff0c;以便进行时间序列分析等。设计表结构&#xff1a;在数据仓库中&#xff0c;拉链表通…
阅读更多...
AutoX-对象、图片资源懒加载+Storage持久化

AutoX-对象、图片资源懒加载+Storage持久化

AutoX-对象、图片资源懒加载Storage持久化 一、使用场景 需要懒加载的场景有很多&#xff0c;我最开始是需要懒加载功能是在编写一个游戏自动化脚本时&#xff0c;需要事先检测某个物品的坐标&#xff0c;才能进行后续的点击操作&#xff0c;该物品在页面中的位置是固定的&am…
阅读更多...
[SpringCloud | Linux] CentOS7 部署 SpringCloud 微服务

[SpringCloud | Linux] CentOS7 部署 SpringCloud 微服务

目录 一、环境准备 1、工具准备 2、虚拟机环境 3、Docker 环境 二、项目准备 1、配置各个模块&#xff08;微服务&#xff09;的 Dockerfile 2、配置 docker-compose.yml 文件 3、Maven 打包 4、文件整合并传输 三、微服务部署 1、部署至 Docker 2、访问微服务 四…
阅读更多...
折纸达珠峰高度(forwhile循环、闭包函数循环)

折纸达珠峰高度(forwhile循环、闭包函数循环)

对折0.1mm厚度的纸张多少次&#xff0c;高度可达珠峰高度8848180mm。 (本笔记适合熟悉循环和列表的 coder 翻阅) 【学习的细节是欢悦的历程】 Python 官网&#xff1a;https://www.python.org/ Free&#xff1a;大咖免费“圣经”教程《 python 完全自学教程》&#xff0c;不仅…
阅读更多...
使用 Docker 部署高可用 MongoDB 分片集群

使用 Docker 部署高可用 MongoDB 分片集群

使用 Docker 部署 MongoDB 集群 Mongodb 集群搭建 mongodb 集群搭建的方式有三种&#xff1a; 主从备份&#xff08;Master - Slave&#xff09;模式&#xff0c;或者叫主从复制模式。副本集&#xff08;Replica Set&#xff09;模式。分片&#xff08;Sharding&#xff09;…
阅读更多...
vue图书馆书目推荐数据分析与可视化-计算机毕业设计python-django-php

vue图书馆书目推荐数据分析与可视化-计算机毕业设计python-django-php

建立本图书馆书目推荐数据分析是为了通过系统对图书数据根据算法进行的分析好推荐&#xff0c;以方便用户对自己所需图书信息的查询&#xff0c;根据不同的算法机制推荐给不同用户不同的图书&#xff0c;用户便可以从系统中获得图书信息信息。 对用户相关数据进行分析&#xff…
阅读更多...
C#，数值计算——积分方程与逆理论Quad_matrix的计算方法与源程序

C#，数值计算——积分方程与逆理论Quad_matrix的计算方法与源程序

1 文本格式 using System; namespace Legalsoft.Truffer { public class Quad_matrix : UniVarRealMultiValueFun { private int n { get; set; } private double x { get; set; } public Quad_matrix(double[,] a) { this.n a…
阅读更多...
Linux越学越头疼，我要怎么办？

Linux越学越头疼，我要怎么办？

最近&#xff0c;听到一些同学说&#xff0c;“Linux越学越头疼”。其实这句话&#xff0c;在我之前刚接触Linux的时候&#xff0c;也是深有感触。Linux越学越不明所以。最后干脆放弃学习&#xff0c;转而学习其他东西。 其实大家在初学Linux的时候&#xff0c; 有这个感受&am…
阅读更多...
ES6对象扩展

ES6对象扩展

ES6对象扩展是指在ES6中新增的一些对象属性和方法&#xff0c;包括对象属性的简写、计算属性名、对象方法的简写、对象的可迭代性、拓展运算符等。 下面是一些常用的ES6对象扩展&#xff1a; 对象属性的简写 ES6中&#xff0c;当对象的属性名和赋值变量名相同时&#xff0c;…
阅读更多...
四川达州-全国先进计算创新大赛总结

四川达州-全国先进计算创新大赛总结

目录 四川达州-全国先进计算创新大赛 1.三个算法&#xff0c;第三个原创的&#xff1f;&#xff08;国内对比&#xff09; 2.方案的实际落地应用&#xff1f;&#xff08;落地应用&#xff09; 3.农业数据采集有问题&#xff08;数据采集汇总&#xff09;&#xff0c;很难…
阅读更多...
应用软件安全编程--03净化传递给 Runtime.exec() 方法的非受信数据

应用软件安全编程--03净化传递给 Runtime.exec() 方法的非受信数据

每个 Java 应用都有一个 Runtime 类的实例&#xff0c; 一般需要使用 shell 时调用它&#xff0c;从而可以在 POSIX 中 使用/bin/sh 或者在Windows 平台中使用cmd.exe。 当参数中包含以空格、双引号或者其他以一/开头 的用来表示分支的字符时&#xff0c;就可能发生参数注入攻…
阅读更多...
【Tomcat Servlet】如何在idea上部署一个maven项目?

【Tomcat Servlet】如何在idea上部署一个maven项目?

目录 1.创建项目 2.引入依赖 3.创建目录 4.编写代码 5.打包程序 6.部署项目 7.验证程序 什么是Tomcat和Servlet? 以idea2019为例&#xff1a; 1.创建项目 1.1 首先创建maven项目 1.2 项目名称 2.引入依赖 2.1 网址输入mvnrepository.com进入maven中央仓库->地址…
阅读更多...
VMware——VMware17设置WindowServer2012R2环境静态IP及关闭防火墙

VMware——VMware17设置WindowServer2012R2环境静态IP及关闭防火墙

目录 一、VMware17设置WindowServer2012R2环境静态IP1.1、工具栏虚拟机的设置步骤1.2、工具栏编辑的设置步骤1.3、静态IP的设置步骤 二、VMware17关闭WindowServer2012R2环境防火墙 一、VMware17设置WindowServer2012R2环境静态IP 1.1、工具栏虚拟机的设置步骤 打开VMware虚拟…
阅读更多...
CONTAINING_RECORD宏

CONTAINING_RECORD宏

CONTAINING_RECORD宏的使用 已知类或结构体成员变量的地址&#xff0c;可以取得类或结构体对象的地址。 代码 #include <windows.h> #include <iostream>class MyClass { public:MyClass(){}virtual ~MyClass(){}public:int m_Value1;int m_Value2;int m_Value3; …
阅读更多...
线扫相机DALSA--常见问题三：未找到采集卡

线扫相机DALSA--常见问题三：未找到采集卡

“计算机”右键“管理”&#xff0c;选择“设备管理器”&#xff0c;单击打开“图像设备”&#xff0c;即可看到PC上所安装的采集卡型号&#xff0c;采集卡正常状态表现如上图所示&#xff0c;如果采集卡显示黄色叹号&#xff0c;表明驱动存在异常&#xff0c;解决采集卡丢失问…
阅读更多...
最新文章

Copyright @ 2022~2023