StarCloud开源行动:激发算力调度的创新潜力

01  于StarCloud

OpenCSG StarCloud 是一个集开源系统(Kubernetes ,K8S)与高性能计算(High Performance  Computing,HPC)一体的混合算力调度平台。它专注于大模型训练和推理,并提供一站式服务,包括从训练到部署,以及多模型比较等。除了在人工智能领域的应用,StarCloud 在工程设计与仿真、金融和风险管理、药物研发和医学研究等多个领域也展现出其卓越的性能。

随着大模型应用的发展及落地,GPU 算力资源变得日益紧张,StarCloud提供了多样化的异构计算算力服务,旨在满足大模型应用和高性能计算的需求,致力于构建一个普惠、易用的算力服务平台。StarCloud的资源调度平台有效缓解这一问题,通过精细化管理大模型的调度过程,从而提高资源的利用率。此外,企业可以利用StarCloud部署自己私有化的平台,实现定制化的资源管理和调度,以满足特定的业务需求。

02  StarCloud 功能介绍

StarCloud 是一个全面而高效的混合算力调度平台,它整合了多机多卡异构算力调度、异地多中心的统一调度,通过并行化计算加速大规模任务的处理。平台还能支持构建超大运算中心,调度数百万内核和数万GPU资源,同时提供了大模型微调的统一框架,以及多租户和私有化的支持,确保了调度的高效性和灵活性。

StarCloud功能覆盖了多个关键领域。接下来,本文将从用户模块、作业模块、资源模块、调度策略及其它这四个方面,为您详细解读 StarCloud 的核心功能:

用户模块

   1.多租户管理

  • 引入多租户管理功能,支持同时管理多个租户。

  • 通过强化数据与资源隔离,精准满足差异化租户需求。

   2. 用户角色

  • 允许定义和分配用户角色,优化访问控制和权限管理。

  • 为不同用户提供定制化的视图,并确保资源量与数据的独立性。

   3.用户和用户组设定

  • 提供了用户和用户组的设置功能,用户和用户组的管理更加便捷高效。

  • 确保系统用户的管理高效和准确。

   4.用户登录登出

  • 支持用户的登录和登出功能,确保系统的安全性和用户身份的验证。

作业模块

   1.作业状态查看

  • 允许实时监控提交作业的状态,包括进度和完成度。

  • 提供了对作业执行情况的全面监控,确保用户能够随时了解作业的进度和状态。

   2.作业详情和作业输出内容查看

  • 提供了对作业详细信息和输出内容的查看功能。

  • 深入了解作业的执行结果和输出。

   3.作业提交和相关参数配置

  • 提供了作业提交功能,同时还提供了相关参数的配置选项。

  • 灵活地配置作业的执行方式和参数。

资源模块​​​​​​

   

1.集群资源状态查看

  • 允许用户实时查看集群资源状态,包括资源的可用性和利用率。

  • 用户能够可视化管理资源,全面掌握集群资源的实时状况

   2.阿里云资源动态调度

  • 引入了阿里云资源的动态调度功能,能够更加灵活地管理和分配阿里云上的资源。

  • 满足不同作业的需求。

调度策略及其它

1.角色和队列关联

  • 提供角色和队列关联功能,将特定角色与特定队列相关联。

  • 简化作业的提交和管理流程。

   2.QoS创建和维护

  • 提供了QoS(服务质量)的创建和维护功能。

  • 满足不同作业的特定需求,确保作业按照预期的优先级和要求执行。

03  更多计划

未来,StarCloud 将持续优化和发展,增加更多实用的功能,进一步提升用户体验并满足不断变化的计算需求。这些功能可能包括但不限于:

  • StarCloud 一体式安装包

  • StarCloud K8S operator

  • StarCloud与 csghub整合, 允许用户选择模型微调

  • 支持更多微调框架例如 deepspeed, pytorch chepoint

  • 失败作业自动从检查点重启

StarCloud 开源地址:

https://github.com/OpenCSGs/llm-scheduler-ui 

https://github.com/OpenCSGs/llm-scheduler-api

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/11904.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【OpenVINO™】在 C# 中使用OpenVINO™ 部署PP-YOLOE实现物体检测

前言 OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper,应用最新的 OpenVINO™ 库开发,通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用,使用习惯与 OpenVINO™ C API 一致。OpenVINO™ C# API 由于是基于 OpenVINO™ 开发…

DevOps 温故知新

【引】伴随着微服务架构以及云技术的广泛使用,DevOps相应地引起了人们的关注,尤其在互联网企业展开了大量的探索和实践。去年赋闲在家的时候, 有幸精读了三本书,分别是《持续架构实践——敏捷和DevOps时代下的软件架构》&#xff…

Linux安装MySQL(CentOS 7)

安装步骤 下载的MySQL版本为mysql-8.0.26 进入网站MySQL,点击下载 找到mysql社区版 点击Archive,查看所有相关不同版本 点击MySQL Community Server 注意下载MySQL对应的Linux版本,CentOS7 对应 Linux7,如果下成Linux 8 则后面…

SpringFramework简述

springFramework简述 Spring Framework是一个开源的企业级Java应用程序框架,由Rod Johnson创建,首次发布于2003年。Spring的核心理念在于简化企业级Java开发并提高其可测试性,它通过提供一个全方位的基础架构支持,帮助开发者关注于…

定制XavierNX载板接入OrinNX核心板HDMI工作异常问题调试

1.前言 Jetson Xavier NX模块(8GB/16GB)载板。 在最终迁移到Jetson Orin NX 8GB模块之前,希望使用它来验证硬件 遵循了这里的建议,将定制载体板+ Jetson Orin NX 8GB SoM的组合放在上面: sudo ./tools/kernel_flash/l4t_initrd_flash.sh --external-device nvme0n1p1 \-c…

【Web后端】EL_JSTL

1.EL 1.1 概念 EL表达式,Expression Language,表达式语言。主要作用,在isp页面上获取数据,擅长查找对象,配合JSTL,使ISP页面摆脱大量的iava代码片 1.2 语法 语法格式 ${表达式内容} 1.3 范围作用域 pag…

202309青少年软件编程(Python)等级考试试卷(二级)

第 1 题 【单选题】 yyh[2023,杭州亚运会,[拱宸桥,玉琮莲叶]]jxwyyh[2][0]print(jxw[1]*2)以上代码运行结果是?( ) A :宸宸 B :杭杭 C :玉玉 D :州州 *正确答案:A 试题解析: jxwyyh[2][0],jxw的值是“拱宸桥”,…

解决SpringBoot整合MyBatis和MyBatis-Plus,请求后不打印sql日志

问题发现 在整合springBootmyBatis时,发现请求不打印sql日志,示例代码如下: RestController public class MyController {AutowiredProductMapper productMapper;GetMapping("/test")public void test() {System.out.println(&qu…

小剧场短剧剧集收费短剧小程序APP功能介绍

小剧场短剧剧集收费短剧小程序H5APP开源源码是一个功能丰富的全开源付费短剧平台解决方案。这个项目为想要创建短剧收费平台的人提供了完整的源码和工具,使其能够快速搭建并运营自己的短剧平台。以下是该项目的详细功能介绍: 内容展现: 短剧…

全国大学生数学建模竞赛【集训营E题】丨 近5年赛题实现,模拟参赛体验

全国大学生数学建模竞赛E题集训营即将开营 基于Python的近5年E题数学建模基础巩固 近5年E题赛题实现 模拟参赛体验与作品评审

数据库笔记-【视图】

视图 视图通俗是企业想展示给用户看的,数据库存储的数据有很多,但是也有很多是不能对外公开的,做项目的过程就通过视图这个媒介达到这种效果 视图也可以保证数据库表结构字段的隐私安全等 create or replace view stu_v_1 as select id st…

【前端每日基础】day9——函数的定义

在 JavaScript 中,函数可以通过两种方式来定义:函数声明和函数表达式。 函数声明:使用 function 关键字直接声明函数,后面跟着函数名和函数体。函数声明语句不是一个完整的语句,但是会被 JavaScript 解析器提升&#…

✨✨使用vue3打造一个el-form表单及高德地图的关联组件实例✨

✨1. 实现功能 🌟表单内显示省市县以及详细地址 点击省市县输入框时,打开对应地图弹窗,进行位置选择选择位置回显入对应输入框表单内的省市县以及地址输入框同外嵌表单走相同的校验方式触发校验后点击reset实现清除校验与清空数据 &#x1f…

Base64在线编码解码方法

Base64在线编码解码 打开网站 在线工具网-梦幻加菲猫 选择“Base64编码解码” 输入需要编码/解码的内容,点击“编码”/“解码”按钮 编码: 解码: 4. 复制已经编码/解码后的内容。

【云原生】Kubeadm搭建K8S

一、部署Kubernetes 实验环境 服务器主机名IP地址主要组件k8s集群master01 etcd01master01192.168.10.100kube-apiserver kube-controller-manager kube-schedular etcdk8s集群node01 etcd02node01192.168.10.101kubelet kube-proxy docker flannelk8s集群node02 etcd03nod…

Linux——MySQL5.7编译安装、RPM安装、yum安装

文章目录 Linux——MySQL5.7编译安装、RPM安装、yum安装一、编译安装二、RPM安装三、yum安装 Linux——MySQL5.7编译安装、RPM安装、yum安装 卸载mysql # 查看是否安装了mysql [rootcsq ~]# rpm -qa |grep mysql mysql-community-server-5.7.36-1.el7.x86_64 mysql-community-c…

数据结构-题目

1.已知一颗完全二叉树的第6曾(设根为第1层),有8个结点,则完全二叉树的结点个数,最少和最多分别是多少? 因此最少为39,最多为111 2.假设一棵三叉树的结点数为50,则它的最小高度为&…

掌握Android Intent与IntentFilter的艺术-深入探索匹配规则与实践技巧

引言 在Android开发的世界中,Intent和IntentFilter是实现组件间通信和任务调度的关键。它们不仅关系到应用的互操作性,还直接影响用户体验。本文将深入探讨Intent和IntentFilter的匹配规则,并通过实际代码示例,揭示如何高效利用这…

【声呐仿真】学习记录3-待续

【声呐仿真】学习记录3-后续 第五阶段-获取数据1.运行赫尔库勒斯沉船的世界:2.键盘操纵rov至合适的位置,调整Image topic,查看输出图像3.RVIZ SONAR 图像查看器插件(没有对应的topic)4.点云5.录制rosbag 第六阶段-查看…

Unity学习笔记---物理引擎

RigidBody 刚体 1,Gravity Scale 重力参数,是一个乘量参数,调整为0则不受重力影响。 2,Sleeping Mode 睡眠模式,分为永不睡眠/开始时睡眠/开始时不睡眠3种。如需要一直碰撞检测可以选择永不睡眠。 BoxCollider 碰撞…