如何部署极狐GitLab Runner Cache 缓存配置?

本文作者:徐晓伟

GitLab 是一个全球知名的一体化 DevOps 平台,很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版,专门为中国程序员服务。可以一键式部署极狐GitLab。

极狐GitLab Runner Cache 缓存 支持 S3 标准协议,如:OSS、OOS 等等

  1. 支持 S3 标准协议
  2. 支持 MinIO
  3. 支持 阿里云 OSS 对象储存
  4. 支持 天翼云 OOS 对象储存

说明

  1. 本文使用 Docker 安装 MinIO。

  2. 本文配置极狐 GitLab Runner 的缓存类型为 s3,使用的软件是 MinIO阿里云 OSS 对象储存天翼云 OOS 对象储存

  3. 本文的目的是在 GitLab Runner 执行完成时,通过配置流水线中的缓存,将 Maven依赖、Node依赖等,上传到 minio中,在下次执行流水线时,GitLab Runner 会自动下载上次缓存的文件并解压,提高流水线构建的速度。

  4. 使用 MinIO

  5. 分布式 Runner 缓存

  6. 极狐GitLab Runner 高级配置

    1. GitLab 中文文档

安装 minio

  1. 创建 minio 容器 9000端口:上传下载文件的端口 9001端口:后台管理页面端口 /minio/data:储存文件的目录

    docker run \
    -itd \
    --restart always \
    --privileged=true \
    -p 9000:9000 \
    -p 9001:9001 \
    --name minio1 \
    -v /minio/data:/data \
    quay.io/minio/minio server /data --console-address ":9001"
    
    firewall-cmd --zone=public --add-port=9000/tcp --permanent
    firewall-cmd --zone=public --add-port=9001/tcp --permanent
    firewall-cmd --reload
    firewall-cmd --list-all
    
  2. 默认用户名:minioadmin,默认密码:minioadmin

  3. 创建一个Buckets,用于储存 GitLab Runner 的缓存,名称为:bucket-1

  4. 创建一个Access Keys,作为 GitLab Runner 上传、下载缓存的凭证。

  5. 设置极狐 GitLab Runner 的缓存配置,配置修改完成后启动的流水线会立即生效

    1. MinIO 配置(支持)

        [runners.cache]# 激活缓存的类型为:s3Type = "s3"# 是否共享缓存# 如果不共享,则会根据 [[runners]] 中的 token 前 8 位创建文件夹,每个 [[runners]] 缓存仅自己能使用Shared = false[runners.cache.s3]# 缓存服务器的地址+端口ServerAddress = "192.168.80.14:9000"# Access Keys 账户凭证AccessKey = "hCfpQlQuEXtBYEAw"SecretKey = "kHH5RwzCRiRUtujKlNRZZZFpuANm6Yr1"# 创建的 Buckets 名称BucketName = "bucket-1"# 设置为 true 代表不使用 httpsInsecure = true
      
    2. 阿里云 OSS 对象储存配置(支持)

        [runners.cache]# 激活缓存的类型为:s3Type = "s3"# 是否共享缓存# 如果不共享,则会根据 [[runners]] 中的 token 前 8 位创建文件夹,每个 [[runners]] 缓存仅自己能使用Shared = false[runners.cache.s3]# 缓存服务器的地址+端口# 此处以青岛地区为例,这里不填写协议ServerAddress = "oss-cn-qingdao.aliyuncs.com"# Access Keys 账户凭证AccessKey = ""SecretKey = ""# 创建的 Buckets 名称BucketName = ""# 设置为 false 代表使用 httpsInsecure = false
      
    3. 天翼云 OOS 对象储存配置

      使用的是:经典版对象存储(经典版)-经典Ⅰ型

        [runners.cache]# 激活缓存的类型为:s3Type = "s3"# 是否共享缓存# 如果不共享,则会根据 [[runners]] 中的 token 前 8 位创建文件夹,每个 [[runners]] 缓存仅自己能使用Shared = false[runners.cache.s3]# 缓存服务器的地址+端口# 此处以青岛地区为例,这里不填写协议ServerAddress = "oos-sdqd.ctyunapi.cn"# Access Keys 账户凭证AccessKey = ""SecretKey = ""# 创建的 Buckets 名称BucketName = ""# 设置为 false 代表使用 httpsInsecure = false# 填写区域,不填写无法使用# 此处以山东青岛地区为例BucketLocation = "sdqd"
      
  6. 如果未配置流水线缓存,在流水线执行时,会出现如下日志

    No URL provided, cache will not be downloaded from shared cache server. Instead a local version of cache will be extracted. 
    
    No URL provided, cache will not be uploaded to shared cache server. Cache will be stored only locally. 
    
  7. 流水线正确设置后,在流水线执行时,会出现如下日志

    # 首次设置成功后执行,会出现下列日志,不过不用担心,本次执行成功上传依赖完成后,下次就不会出现了
    # 若缓存文件被删除,也会出现此日志
    WARNING: file does not exist                       
    Failed to extract cache
    
    Downloading cache.zip from http://192.168.80.14:9000/bucket-1/runner/HcQesvsi/project/2/default-protected 
    Successfully extracted cache
    
    Uploading cache.zip to http://192.168.80.14:9000/bucket-1/runner/HcQesvsi/project/2/default-protected 
    
  8. 若要禁用缓存,只需要将 Type = “s3” 禁用即可

更多关于极狐GitLab 的最佳实践,请搜索关注【极狐GitLab】公众号或者登录极狐GitLab 官网 https://gitlab.cn 进行学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/726588.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【ChatGPT实践】Claude 3全面升级:多模态+100万Token上下文长度,碾压OpenAI?

最近几天这张图在ai圈很火。 前几天,Anthropic发布了其新一代大语言模型Claude 3系列,包括Claude 3 Opus、Sonnet和Haiku三种规模,分别代表了超大杯、大杯和中杯。其中Sonnet版本在官网可以免费体验:https://claude.ai 最强的Opus版本&#x…

c++单例模式和call_once函数

单例模式是一种常见的设计模式,用于确保某个类只能创建一个实例。由于单例模式是全局唯一的,因此在多线程中使用单例模式时需要考虑线程安全问题。 1.GetInstance()实例化一个对象 懒汉式:第一次用到类的时候才会去实例化。 懒汉式创建对象…

pyqt 界面中嵌入当前系统shell界面

pyqt 界面中嵌入当前系统shell界面 在PyQt中嵌入当前系统shell界面,可以使用QProcess来启动一个子进程,并将其输出显示在一个文本编辑窗口中。以下是一个简单的例子,展示了如何在PyQt界面中嵌入当前Windows系统的cmd shell: impo…

Nodejs web服务器之GET、POST请求初次体验

一、认识http请求 步骤 1.DNS解析域名,找到ip地址,建立TCP连接,发起http请求 2.服务器接收到http请求,进行处理,返回数据 3.客户端接收到返回的数据,处理数据(比如渲染页面) 二、no…

element多选框select下拉框数据回显的问题value.push is not a function

文章目录 问题描述 问题描述 今天在使用Element UI el-select组件遇到了一个问题,如下图: 下拉框里的值选中了,但是文本框里没有值 这是 el-select组件代码,我这里是用了一个多选框,options的值是在后端查询的,form.we…

Batch Nomalization 迁移学习

Batch Nomalization 1.Batch Nomalization原理 图像预处理过程中通常会对图像进行标准化处理,这样能够加速网络的收敛。就是按照channel去求均值和方差,然后原数据减均值除标准差,使我们的feature map满足均值为0,方差为1的分布…

hnswlib -向量ANN检索库

文章目录 关于 hnswlib安装使用示例1、创建索引,插入元素,搜索和选择序列2、序列化/反序列化后更新 关于 hnswlib Header-only C/python library for fast approximate nearest neighbors github : https://github.com/nmslib/hnswlib hnswlib 是一个…

系统架构设计师 2023年 综合知识

1、McCabe度量法的公式 V(G)=m-n+2。V(G)表示环路复杂性,m表示图中的边数,n表示图中的结点数。 2、McCabe度量法的规模 模块规模以V(G)<=10为宜。 3、多线程任务通信方式 共享内存、消息传递、信号、套接字、管道。 4、星型拓扑结构 最多只需要2跳就可以完成跟网络中任…

使用pdf.js预览pdf遇到的问题总结

我先说一下问题点&#xff1a; 最近项目做了一次改造&#xff0c;是关于iobs的。用户上传的pdf资料和图片等文件都是上传到iobs上&#xff0c; 所以用户需要预览或者页面返显图片的时候&#xff0c;都是从iobs上拿。之前拿到iobs链接之后&#xff0c;可以在一定的时间内无限次…

three.js如何实现简易3D机房?(三)显示信息弹框/标签

接上一篇&#xff1a; three.js如何实现简易3D机房&#xff1f;(二&#xff09;模型加载的过渡动画&#xff1a;http://t.csdnimg.cn/onbWY 目录 七、创建信息展示弹框 1.整体思路 &#xff08;1&#xff09;需求&#xff1a; &#xff08;2&#xff09;思路&#xff1a;…

网康科技 NS-ASG 应用安全网关 SQL注入漏洞复现(CVE-2024-2022)

0x01 产品简介 网康科技的NS-ASG应用安全网关是一款软硬件一体化的产品,集成了SSL和IPSec,旨在保障业务访问的安全性,适配所有移动终端,提供多种链路均衡和选择技术,支持多种认证方式灵活组合,以及内置短信认证、LDAP令牌、USB KEY等多达13种认证方式。 0x02 漏洞概述 …

生物电信号测量技术

引言 生物电信号是生物体内的电活动产生的电流或电压信号&#xff0c;它反映了生物体的生理状态和活动。生物电信号测量技术是一种用于记录和分析这些信号的方法&#xff0c;广泛应用于医学、生物学、神经科学等领域。本文将介绍几种常见的生物电信号测量技术&#xff0c;并讨…

C语言第三十六弹---文件操作(中)

✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】 文件操作 1、文件的顺序读写 1.1、顺序读写函数介绍 1.1.1、fgetc 与 fputc 1.1.2、fgets 与 fputs 1.1.3、fscanf 与 fprintf 1.1.4、fread 与 fwrite 1.…

全志D1s开发板裸机开发之坏境搭建

环境搭建 开发板介绍 张天飞老师编写的《RISC-V体系结构编程与实践》&#xff0c;里面的源码是基于 QEMU 模拟器的&#xff0c;可以认为它是一款虚拟的开发板。如果需要在真实开发板上学习&#xff0c;可以使用百问网的 DongshanPI-D1S 开发板。 DongshanPI-D1S 是百问网推出…

Python web自动化测试 —— 文件上传!

​文件上传三种方式&#xff1a; &#xff08;一&#xff09;查看元素标签&#xff0c;如果是input&#xff0c;则可以参照文本框输入的形式进行文件上传 方法&#xff1a;和用户输入是一样的&#xff0c;使用send_keys 步骤&#xff1a;1、找到定位元素&#xff0c;2&#…

Git分支操作

Git分支操作 理解分支查看当前分支git branch 查看有几个分支git branch 新分支的名字 创建新分支git checkout -b 分支名 直接创建并切换到该分支下 切换分支git checkout 分支名 切换到指定分支 合并分支git merge 分支名 合并指定名字的分支 删除分支git branch -d 分支 删…

(力扣题库)跳跃游戏II(c++)

给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] (表示从索引 i 向前跳转的最大长度。换句话说&#xff0c;如果你在 nums[i] 处&#xff0c;你可以跳转到任意 nums[i j] 处: 0 < j < nums[i] i j < n 返回到达 nums[n - 1] 的…

Linux:kubernetes(k8s)探针的简介(7)

相当于我们用于监控容器的一个东西&#xff0c;通过给我们的不同探针来判断容器内的状态情况&#xff0c;实现故障的一个自动恢复。 我们在上一章的yaml文件中写入了一个这个东西 那么他什么情况下重启&#xff0c;就是通过探针进行一个监控&#xff0c;加入监控某一个端口&…

云原生(一)、linux快速上手

Linux是一种开源的Unix-like操作系统内核。它是由Linus Torvalds于1991年首次发布&#xff0c;其后经过全球的自由软件社区的持续开发和改进。Linux内核是操作系统的核心部分&#xff0c;但通常与GNU项目合作&#xff0c;以形成完整的操作系统&#xff0c;被称为Linux发行版&am…

C语言从入门到实战——预处理详解

预处理详解 前言一、预定义符号1.1 __FILE__1.2__LINE__1.3 __DATE__1.4__TIME__1.5__STDC__ 二、 #define定义常量三、 #define定义宏四、 带有副作用的宏参数五、 宏替换的规则六、宏函数的对比七、 #和##7.1 #运算符7.2 ##运算符 八、 命名约定九、 #undef十、命令行定义十一…