04-19 周四 GitHub CI 方案设计

04-19 周四 GitHub CI 方案设计
时间版本修改人描述
2024年4月19日14:44:23V0.1宋全恒新建文档
2024年4月19日17:22:57V1.0宋全恒完成部署拓扑结构的绘制和文档撰写

简介

需求

 由于团队最近把代码托管在GitHub上，为解决推理、应用的自动化CI的需要，调研了GitHub自带的CI基础设施，基本上需要满足如下的需求：

  • 由于大模型需要GPU，因此CI时需要使用GPU来运行，由于一台服务器有多个GPU卡，因此，保证灵活性的同时，需要为每个仓库的CI程序自定义需要的GPU。
  • 部署简单，能够实现一台服务器，如8C A100的，同时对4个仓库进行CI作业的运行，而不互相影响。

 关联的文档如下所示:

  • 04-15 周一 GitHub仓库CI服务器配置过程与workflow配置文件解析文档.md
  • 04-18 周四 为LLM_inference项目配置GitHub CI过程记录.md

仓库

 当前的仓库主要是为了如下的项目而设置。

 GitHub仓库主要是包括四个私有仓库

仓库项目简介标签分配GPU分配
LLMChat主要是大模型RAG，解决大模型知识时效问题A100, gpu, application3,4
LLMs_Inference主要是依托于vLLM，解决高效推理问题gpu, a100, inference7号A100

注，由于大模型精调和训练组当前还不需要CI，因此未对其进行配置CI。

方案设计

GitHub actions Runner

 GitHub Actions Runner 是 GitHub Actions 的一部分，它允许你在自己的硬件、虚拟机或云实例上托管和运行自定义的工作流程。Runner 可以与 GitHub 上的仓库关联，以便在触发事件（如 push、pull request 等）发生时执行工作流程中的任务。

img

以下是 GitHub Actions Runner 的一些重要特点和功能：

  1. 灵活性： 可以在自己的环境中托管 Runner，这意味着你可以在自己的硬件、虚拟机或云实例上运行工作流程。这为你提供了更大的灵活性和控制权，以满足特定的需求和安全要求。
  2. 跨平台支持： Runner 支持多种操作系统和平台，包括 Windows、Linux 和 macOS。这意味着你可以在不同的操作系统上运行工作流程，并且可以根据需要选择合适的平台。
  3. 自动化： Runner 可以自动更新到最新版本，并且可以自动重新连接到 GitHub 服务器以接收新的工作。这简化了 Runner 的管理和维护，并确保了其与 GitHub 平台的兼容性。
  4. 安全性： Runner 可以配置为在受限的环境中运行，以确保工作流程中的敏感数据和操作受到保护。此外，Runner 还支持身份验证和令牌以与 GitHub 服务器进行安全通信。
  5. 自定义性： 你可以自定义 Runner 的配置和行为，以满足特定的需求。例如，你可以配置 Runner 的标签以限制工作流程在特定 Runner 上运行，也可以配置 Runner 的执行器以添加额外的功能和工具。
image-20240419164838227

总的来说，GitHub Actions Runner 提供了一个灵活、强大和可扩展的平台，用于在你自己的环境中托管和运行 GitHub Actions 工作流程，从而实现自动化和持续集成/持续部署 (CI/CD)。

注，由于需要使用GPU完成大模型相关的作业，测试，因此无法使用GitHub提供的GitHub-hosted runner，主要是部署self-hosted runner。

 GitHub actions-runner 也为托管在GitHub上的仓库，仓库地址，在使用时，采用Client-Server的方式进行作业的分发和处理。

CI服务器

 当前用于CI的是包含8张A100卡的42服务器，其操作系统细节如下：

$ cat /etc/os-release 
NAME="Ubuntu"
VERSION="20.04.6 LTS (Focal Fossa)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 20.04.6 LTS"
VERSION_ID="20.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=focal
UBUNTU_CODENAME=focal

注，由于当前的宿主机为Ubuntu 20.04，因此在CI时在使用自定义的镜像启动容器进行单元测试等工作时，强烈建议采用Ubuntu 20.04的Pytorch镜像，以防止出现类似GLIBC的问题。

注，建议在镜像中，不要再次使用conda进行环境管理。

部署拓扑

 为满足多个仓库在同一台服务器使用GPU进行CI作业的需求，因此，我们需要部署多个actions-runner实例与github server进行交互，具体的部署结果如下图所示:

 经过调研，采用的是多用户多个actions-runner实例的部署，具体如下图所示:

image-20240419165854790

注，在使用多actions-runner实例时，尝试过了如下的方案:

  • 在42服务器上采用虚拟化，即Docker容器中包含actions-runner服务，可以注册但执行CI会报错。
  • 在42服务器上，采用单用户部署多个实例(部署更加简单)，但直接报错，无法配置。

 Docker中包含actions-runner，报错，Docker in Docker这个特征当前还不支持。

image-20240419170505655

 单用户部署多个actions-runner实例，报错:

image-20240419170641421

 所以，最终选择了为每个仓库新建一个用户，在该用户的目录下运行该实例。

GPU资源限额

CI解释

 由于在运行actions-runner实例，并没有划分GPU，即确定在作业分发时使用的GPU，这部分工作，是由self-hosted Runner的在容器中运行作业来指定的。也就是在不同的仓库执行CI作业时，有各自的CI工作流要执行：

image-20240419171510590

 这些工作流是由workflow的配置文件定义的，即.github/workflows/*.yaml定义的。

 换句话说，即使用那个镜像启动容器，以什么方式启动容器，在容器中执行那些过程，都是由这个配置文件决定的。

使用7号gpu卡进行CI作业的工作流配置文件

# This workflow will install Python dependencies, run tests and lint with a single version of Python
# For more information see: https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-pythonname: LLM_Inference CIon:push:branches: [ "features-ci-songquanheng" ]pull_request:branches: [ "main" ]permissions:contents: readjobs:llm-inference-ci:runs-on: [self-hosted, linux, x64, a100, inference]defaults:run:shell: bash -l {0}container:image: nvcr.io/nvidia/pytorch:22.12-py3options: --runtime nvidia --shm-size=32gbcredentials:username: adminpassword: admin@ZJ2023env: NVIDIA_VISIBLE_DEVICES: 7volumes:- /home/yangfei/:/home/yangfeiports:- 22steps:    - name: show pyhon versionrun: |python --version- name: show the gpus availablerun: |nvidia-smi- name: install necessary pip dependencies run: |pip install vllm --index-url https://pypi.tuna.tsinghua.edu.cn/simple- name: Test with pytest and generate coverage report run: |pytest --cov=tests --cov-report=xml- name: Upload coverage reports to Codecovuses: codecov/codecov-action@v4with:token: ${{ secrets.CODECOV_TOKEN }}file: coverage.xmlverbose: true

 上述配置文件限定了为ci容器使用的gpu资源。具体关于该配置文件的解析，可以参见

  • [04-15 周一 GitHub仓库CI服务器配置过程与workflow配置文件解析文档.md](D:\400-工作\440-中心\443-高效能计算中心\04-15 周一 GitHub仓库CI服务器配置过程与workflow配置文件解析文档.md)

    不再赘述

总结

 本文主要描述了在42服务器上为多个仓库部署actions-runner实例的CI 部署方案，具体包含如下内容:

  • 42CI服务器的详情
  • 团队代码仓库的标签划分
  • 部署拓扑结构
  • GPU限定使用的实现。

 通过这样的部署方式，就可以灵活的为多个代码仓库的自动化CI实现各种自定义的功能，以满足特定的要求和实现。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/7172.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

最近惊爆谷歌裁员

最近惊爆谷歌裁员

Python团队还没解散完，谷歌又对Flutter、Dart动手了。 什么原因呢，猜测啊。 谷歌裁员Python的具体原因可能是因为公司在进行技术栈的调整和优化。Python作为一种脚本语言，在某些情况下可能无法提供足够的性能或者扩展性，尤其是在…
阅读更多...
分析：Palo Alto在从SASE向SASO演进中定位不佳

分析：Palo Alto在从SASE向SASO演进中定位不佳

摘要 我们通过上一篇文章（Fortinet的愿景——超越SASE）中应用于Fortinet的相同框架来回顾Palo Alto Network在网络和网络安全方面的前景。 SASE涉及数据传输的第一英里。不过，随着SASE的发展，投资者还需要考虑中间和最后一英里。…
阅读更多...
【JavaScript】数据类型转换

【JavaScript】数据类型转换

JavaScript 中的数据类型转换主要包括两种：隐式类型转换（Implicit Type Conversion）和显式类型转换（Explicit Type Conversion）。 1. 隐式类型转换（自动转换）： js 是动态语言&…
阅读更多...
Docker搭建LNMP+Wordpress的实验

Docker搭建LNMP+Wordpress的实验

目录 一、项目的介绍 1、项目需求 2、服务器环境 3、任务需求 二、Linux系统基础镜像 三、部署Nginx 1、建立工作目录 2、编写Dockerfile 3、准备nginx.conf配置文件 4、设置自定义网段和创建镜像和容器 5、启动镜像容器 6、验证nginx 三、Mysql 1、建立工作目录…
阅读更多...
Kalign 3：大型数据集的多序列比对

Kalign 3：大型数据集的多序列比对

之前一直用的是muscle，看到一个文章使用了Kalign，尝试一下吧 安装 wget -c https://github.com/TimoLassmann/kalign/archive/refs/tags/v3.4.0.tar.gz tar -zxvf v3.4.0.tar.gz cd kalign-3.4.0 mkdir build cd build cmake .. make make test su…
阅读更多...
【数据结构与算法】之五道链表进阶面试题详解！

【数据结构与算法】之五道链表进阶面试题详解！

目录 1、链表的回文结构 2、相交链表 3、随机链表的复制 4、环形链表 5、环形链表（||） 6、完结散花 个人主页：秋风起，再归来~ 数据结构与算法 个人格言：悟已往之不谏，知…
阅读更多...
【搜索技能】外链

【搜索技能】外链

文章目录 前言一、外链是什么？二、如何进行外链调查？总结 前言 今儿因为在搜索一个很感兴趣的软件，但是软件信息所在的网址非常有限。因此产生了一个念头：我能不能找到所有的包含了或者是引用了这个网站的网站呢? 调查之下&…
阅读更多...
解密SSL/TLS：密码套件扫描仪的深度解析(C/C++代码实现)

解密SSL/TLS：密码套件扫描仪的深度解析(C/C++代码实现)

解密SSL/TLS流量通常是为了分析和审计加密通信，以确保数据传输的安全性和合规性。密码套件扫描仪是实现这一目的的一种工具，它可以提供关于SSL/TLS配置的详细信息，帮助安全专家评估潜在的风险。 SSL/TLS协议基础 SSL/TLS协议是网络安全中不…
阅读更多...
select，poll，epoll

select，poll，epoll

在 Linux Socket 服务器短编程时，为了处理大量客户的连接请求，需要使用非阻塞I/O和复用，select，poll 和 epoll 是 Linux API 提供的I/O复用方式。 \selectpollepoll操作方式遍历遍历回调底层实现数组链表哈希表IO效率每次调用都进…
阅读更多...
C语言/数据结构——每日一题（环形链表的约瑟夫问题）

C语言/数据结构——每日一题（环形链表的约瑟夫问题）

一.前言 今天在牛客网上面看到了一道环形链表题，想着和大家们分享一下。可能我有点笨，那道题的链接我没搞好，所以很抱歉，只能麻烦大家们看一下截屏的题目信息了。废话不多数，让我们开始今天的题目分享吧。 二.正文 …
阅读更多...
ComfyUI中的图像稀释处理

ComfyUI中的图像稀释处理

用下面的节点对图片进行稀释处理，如下 为0表示不变，我设置大一点，设置为0.5看看，如下 图像就暗淡了一些，但是还是有一些彩色的，相当于把它放在水里浸泡了一样，掉色了，这就是稀释&…
阅读更多...
公网tcp转流

公网tcp转流

之前做过几次公网推流的尝试, 今天试了UDP推到公网, 再用TCP从公网拉下来, 发现不行, 就直接改用TCP转TCP了. 中间中转使用的python脚本, 感谢GPT提供技术支持: import socket import threadingdef tcp_receiver(port, forward_queue):"""接收TCP数据并将其放入…
阅读更多...
LLM应用：工作流workflow创建自定义模版使用

LLM应用：工作流workflow创建自定义模版使用

参考： https://www.coze.cn/ 本案例是在coze平台上操作的，也有其他工具支持工作流的创建例如dify；也例如图像生成的comfyui工作流工具 创建自定义模版 可以根据自己需求创建自己的工作流工具；本文案例是创建一个联网搜索的LLM应用： 创建工作流页面： https://www.coze.c…
阅读更多...
X 推出 Stories 功能，由 Grok AI 生成新闻摘要

X 推出 Stories 功能，由 Grok AI 生成新闻摘要

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
阅读更多...
Python自动化测试【selenium面试题】

Python自动化测试【selenium面试题】

一、selenium中如何判断元素是否存在？ expected_conditions模块提供了16种判断方法，以下方法是判断元素存在DOM中： presence_of_element_located """ An expectation for checking that an element is present on the DOM of…
阅读更多...
分布式与一致性协议之ZAB协议(三)

分布式与一致性协议之ZAB协议(三)

ZAB协议 主节点崩溃了，怎么办？ 众所周知，系统在运行中不可避免会出现各种各样的问题，比如进程崩溃了、服务器死机了，这些问题会导致很严重的后果，让系统没办法继续运行。在ZAB协议中，写请求是…
阅读更多...
深度学习论文: DMAD: Dual Memory Bank for Real-World Anomaly Detection

深度学习论文: DMAD: Dual Memory Bank for Real-World Anomaly Detection

深度学习论文: DMAD: Dual Memory Bank for Real-World Anomaly Detection DMAD: Dual Memory Bank for Real-World Anomaly Detection PDF: https://arxiv.org/pdf/2403.12362 PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https://github.com/sh…
阅读更多...
数智先锋 | 多场景数据治理案例，释放数据要素生产力

数智先锋 | 多场景数据治理案例，释放数据要素生产力

数据作为第五大生产要素，成为释放新质生产力的关键基础。 当前各个行业数字化建设如火如荼，全力挖掘数据价值以驱动行业高质量应用发展。数据治理成为数据要素价值发挥的重要基础和前提。 数据治理不单是技术问题，不是依赖工具就能解决的&a…
阅读更多...
JVM之内存分配的详细解析

JVM之内存分配的详细解析

内存分配 两种方式 不分配内存的对象无法进行其他操作，JVM 为对象分配内存的过程：首先计算对象占用空间大小，接着在堆中划分一块内存给新对象 如果内存规整，使用指针碰撞（Bump The Pointer）。所有用过的内…
阅读更多...
链式队列基本操作

链式队列基本操作

链式队列的基本概念 链式队列是一种常见的数据结构，它使用链表作为其底层数据存储结构。链式队列的特点是动态的内存分配，可以有效地处理队列的入队和出队操作。下面，我将介绍链式队列的实现方法，并提供相应的C语言代码示例。 链…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023