cube-studio 开源一站式云原生机器学习/深度学习/大模型训练推理平台介绍

全栈工程师开发手册 (作者:栾鹏)
一站式云原生机器学习平台


前言

开源地址:https://github.com/tencentmusic/cube-studio

cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深度学习,大模型 开发训练推理发布全链路。支持元数据管理,维表,指标,sqllab,数据etl等数据中台对接功能。支持多集群,边缘集群,serverless集群方式部署。支持计量计费,资源额度限制,支持vgpu,rdma,国产gpu,arm64架构。

aihub模型市场:支持AI hub模型市场,支持400+开源模型应用一键开发,一键微调,一键部署。

gpt大模型:支持40+开源大模型部署一键部署,支持ray,volcano,spark等分布式计算框架,支持tf,pytorch,mxnet,mpi,paddle,mindspre分布式多机多卡训练框架,支持deepspeed,colossalai,horovod分布式加速框架,支持llama chatglm baichuan qwen系列大模型微调。支持llama-factory 100+llm微调,支持大模型vllm推理加速,支持智能体私有知识库,智能机器人。

Cube Studio

整体架构

在这里插入图片描述

cube studio是 腾讯音乐 开源的一站式云原生机器学习平台,目前主要包含

模块分组功能功能明细
基础能力项目组管理
  • AI平台需要通过项目划分,
  • 支持配置相应项目组用户的权限,
  • 任务/服务的挂载,资源组,集群,服务代理,
  • 项目组内角色应用
基础能力网络
  • 支持非80端口,
  • 支持公网/域名,
  • 支持反向代理和内网穿透方式访问,
  • 支持https
基础能力用户管理 角色管理/权限管理
  • 管理平台用户的基本信息,组织架构,支持账号密码,rbac权限体系。
  • 增加修改和删除,清理等操作的历史记录
基础能力计量计费功能
  • 1、支持平台资源限制的分配和查看;项目组资源限制,租户资源限制、任务资源限制,项目组下个人的资源限制,包括开发资源,训练资源、推理资源等。 额度限制限制在notebook,docker构建,pipeline,超参搜索,内部服务,推理服务中的生效。限制支持单任务,并行任务总和和历史任务总和等方法
  • 2、提供统一的开发、训练、推理服务资源监控,从租户、项目、任务角度分析模型资源分配及使用情况。
  • 3、支持自定义计费模式,通过计量结果自定义获取计费值
基础能力SSO单点登录
  • 账号密码注册自动登录,
  • 支持对接公司账号体系AUTH_OID/AUTH_LDAP/AUTH_REMOTE_USER等登录注册方式,
  • 支持消息推送。
  • 增加登录验证,强密码,远程用户,登录频率限制,密码密文传输等
基础能力支持多种算力
  • 提供多种规格的资源支持不同的使用场景,cpu/gpu等 支持T4/V100/A100等多种卡型,
  • 支持arm64芯片,
  • 支持vgpu等模式。
  • 支持国产gpu,支持海光gpu,海飞科dcu,华为npu,
  • 支持rdma调度,mellanox。
  • 支持gpu禁用模型,共享模式,独占模式
基础能力多资源组/多集群
  • 支持划分多资源组,
  • 支持ipvs的k8s网络模式,
  • 支持多k8s集群,
  • 支持containerd容器运行态
基础能力边缘集群
  • 支持边缘集群模式,支持边缘节点开发,训练,推理
基础能力serverless集群模式
  • 支持腾讯云serverless集群模式,(notebook,pipeline,推理服务模块支持)
  • 阿里云serverless集群模式(notebook,pipeline,推理服务模块支持)
基础能力数据库存储
  • 支持外部mysql作为元数据库
  • 支持外部postgres作为元数据库
基础能力存储盘管理
  • 支持web界面添加存储盘,支持项目组绑定,notebook pipeline 推理服务,直接在pod中挂载外部分布式存储。
  • 支持nfs,cfs,oss,nas,cos,glusterfs,cephfs,s3/minio
基础能力国际化能力
  • mlops支持配置多语言配置,目前支持中英文
数据管理数据地图
  • 元数据库表管理,指标,维表
数据管理数据计算
  • sqllab交互查询,支持mysql,postgresql等计算引擎
数据管理ETL编排
  • 数据ETL任务流编排,任务管理等对接公司数据中台相应计算/调度引擎
数据管理数据集管理
  • 允许用户随时上传样本集(图片、音频、文本等),
  • 支持sdk进行数据集对接,
  • 支持数据集一键探索功能
数据管理数据标注
  • 支持标注平台,图/文/音/多模态各类型标注能力,
  • 对接一站式机器学习平台,支持自动化标注(需购买aihub):
  • 支持目标识别,目标边界识别,目标遮罩识别,图片分类,图片描述,ocr,关键点检测。支持大模型自动化标注:文本分类,文本翻译,命名实体识别,阅读理解,问答,摘要提取。
开发环境镜像功能
  • 镜像仓库/镜像管理/在线构建镜像。同时提供平台所有镜像,包括模板镜像/服务镜像/notebook镜像/gpu基础环境的构建方法和构建后镜像,
  • 支持dockerfile在线构建
  • 支持同一仓库多个秘钥配置
开发环境notebook
  • 支持基于开源的Jupyterlab/vscode,提供在线的交互式开发调试工具;
  • 提供多种可选环境ide和开发示例,支持资源类型选择 支持大数据版本,机器学习版本,深度学习版本
  • 大数据版本支持用户信息和内网spark链接
  • 支持ssh remote与notebook对接远程开发,方便快速将本地代码提交到平台的训练环境。
  • ssh隧道代理,单端口开放
  • 支持matlab,Rstudio等在线ide
  • 支持gpu,cpu,内存,监控,支持git交互
  • 支持自定义notebook镜像,便于封装公司自己的notebook
  • 多环境notebook,支持R语言/julia语言/python2.7/python3.6/python3.7/python3.8/python3.9/python3.10环境和cube-studio专有环境
  • 支持tensorboard任务可视化
  • notebook支持环境镜像保存
  • jupyter支持密码保护
  • notebook支持整卡占用,虚拟卡占用,gpu共享占用
  • 支持notebook启动自动初始化环境
模型训练拖拉拽任务流编排调试
  • 提供拖拽式交互开发环境,支持开发者以拖拽的方式完成业务逻辑的PIPLINE;
  • 支持单任务调试,
  • 训练支持多种资源规格(CPU、GPU等),支持卡型的选择,超时重试等。
  • 分布式任务模板支持单任务调试用户镜像而非模板镜像
  • 分布式任务模板支持gpu型号透传,rdma高速通信,拉取秘钥透传
  • pipeline调试,支持定时调度,补录,并发限制,超时,实例依赖等,
  • 任务管理,
  • workflow实例管理,
  • 资源监控,
  • 支持任务输入输出,
  • 任务流全局变量,
  • 文本/图片/echart结果可视化,
  • 支持workflow暂停和恢复。
  • 支持单任务和pipeline运行中任务监听端口提供运行中服务监听能力
  • 任务流支持任务推荐
模型训练主流功能算子基础算子:
  • 自定义镜像,
  • 逻辑节点,
  • python
  • 数据同步:
  • 数据集导入,
  • datax,
  • 模型导入
  • 数据处理工具:
  • hadoop/spark作业提交,
  • volcanojob/ray分布式数据处理,
  • sparkjob
  • 特征处理:
  • -数据合并,包含union、join操作
  • -去除重复样本
  • -数据变换,包括boxcox转换、二值化、数据类型转换、dct变换、根据函数转换、ma移动平均、多项式展开
  • -非数值型变量处理,包括hash、根据统计量转换、one-hot
  • -异常值检测
  • -获取变量的统计量
  • -去除值过于单一的变量
  • -删除缺失率过高的值
  • -删除缺失率过高的值
  • -填充缺失值
  • -数据离散化,等宽、等频、聚类离散化
  • -标准化、正则化、归一化,有最大绝对值归一化、最大最小归一化、z_score标准化
  • -索引处理,包含增加索引、索引转列、列索引重命名
  • -排序
  • -执行sql
  • -hadamard乘积
  • -特征组合,用于衍生特征
  • -降维,包括pca降维和卡方降维
  • -特征重要性,通过随机森林、逻辑回归、xgboost等模型计算特征重要性,可计算特征的iv值、互信息值、方差等
  • -特征向量间的相关性计算
  • -数据拆分,包括列内拆分、列间拆分、行间拆分、svd奇异值分解
  • -采样,包括随机采样、分层采样、过采样、欠采样
  • 传统机器学习:
  • ray-sklearn分布式,
  • xgb单机训练推理
  • 传统机器学习算法:
  • ar/arima时间序列算法/random-forest/random-forest-regression/lr/lightgbm/knn/kmean/gbdt/decision-tree/pca/lda/catboost/xgb/超参搜索
  • 分布式深度学习框架:
  • tf/pytorch/mxnet/horovod/paddlejob/mindspore分布式训练
  • 分布式加速框架:
  • mpi/colossalai/deepspeed/horovod/megatron
  • 模型处理:
  • 模型评估,
  • 模型格式转换
  • 模型服务化:
  • 模型注册,
  • 模型离线推理
  • 模型部署
  • 媒体分布式处理:
  • 分布式媒体下载,
  • 视频提取图片,
  • 视频提取图片
模型训练算子自定义支持算子自定义,通过web界面操作将自定义算法代码镜像,注册为可被他人复用的pipeline算子
模型训练自动学习面向非AI背景的用户提供自动学习服务,用户选择某一个场景之后,上传训练数据即可自动开始训练和模型部署,支持示例automl任务流导入导出
模型训练自定义镜像面向高级 AI 开发者,提供自定义训练作业(执行环境 + 代码)功能;
模型训练自动调参基于单机/分布式自动超参搜索
模型训练TensorBoard作业实时/离线观察模型训练过程中的参数和指标变化情况
模型管理 推理服务内部服务支持开发或运维工具快捷部署,提供mysql-web,postgresql web,mobgo web, redis web,neo4j,rstudio等开源工具
模型管理 推理服务模型管理模型管理用于对模型多版本管理,支持模型发布为推理服务
模型管理 推理服务推理服务
  • 支持ml/tf/pytorch/tentortrt/onnx常规模型的多版本的0代码发布。
  • 支持gpu卡型选择,支持vgpu,独占,共享占用
  • 支持cpu/mem/gpu等弹性伸缩,
  • 支持服务优先级,
  • 支持远程模型路径,支持流量分流,流量复制,sidecar配置,支持泛域名配置,支持配置文件挂载,启动目录/命令/环境变量/端口/指标/健康检查等 支持调试环境/测试环境/生产环境 支持域名/ip代理多种形式
  • 支持服务负载指标监控
  • 支持多版本服务滚动升级和回滚,
  • 支持单pod滚动发布
  • 支持禁用k8s service负载均衡器
  • 提供ml/tf/pytorch/tentortrt/onnx常规模型推理服务镜像 支持用户自定义模型推理镜像
监控整体资源
  • 所有集群,所有计算机器的使用情况,包括机器的所属集群,所属资源组,机器ip,cpu/gpu类型和卡型,当前cpu/内存/gpu的使用率
  • 所有集群,所有计算pod的使用情况,包括pod所属集群,所属资源组,所属命名空间,调度ip,pod名称,启动用户,cpu,gpu,内存的申请使用率
  • 整体资源页面,支持管理员批量删除
监控监控体系
  • 所有机器的gpu资源的使用情况,
  • 所有机器的内存/cpu/网络io/磁盘io的负载情况,
  • 所有pod的内存/cpu/gpu/网络io负载情况
  • 所有推理服务的内存/cpu/gpu/qps/吞吐/vgpu负载情况
  • 支持ib流量监控
模型应用市场模型应用管理方案
  • 提供cubestudio sdk,提供模型开发规范和使用规范
模型应用市场模型应用管理方案
  • 提供web端模型应用体验,支持同步/异步推理
模型应用市场模型应用管理方案
  • 提供开发多个python cuda版本的基础镜像
模型应用市场预训练模型
  • 提供视觉,听觉,nlp,多模态等400+预训练模型,提供预训练模型的模型加载和推理能力,可直接一键部署服务,并提供api
模型应用市场模型市场
  • aihub应用对接cube-studio平台进行卡片式展示
模型应用市场模型一键开发
  • 提供一键转notebook开发,提供符合当前模型所需环境的jupyter
模型应用市场模型一键微调
  • 支持一键转pipeline微调链路,包括示例数据集下载,微调,模型注册,模型部署,支持微调后模型部署
模型应用市场模型一键部署web
  • 提供模型一键部署提供手机端和pc端web界面和api,和demo示例弹窗演示
模型应用市场模型自动化标注
  • 支持部署对接labelstudio自动化标注
模型应用市场数据集sdk
  • 支持通过python sdk搜索上传下载数据集,支持数据集的加解密/解压缩/数据集基础信息查看等
模型应用市场notebook sdk
  • 支持通过api,对接cube-studio创建notebook,并跳转到指定目录,用于其他算法平台在当前平台的调试和演示
模型应用市场pipeline训练sdk
  • 支持AI开发主流语言 Python,提供Python SDK支持用户通过SDK来进行pipeline任务流管理和训练任务启动以及任务流编排
模型应用市场推理服务sdk
  • 提供python sdk,对接cube tudio进行推理服务的发布,服务升级
大模型大模型分布式多机多卡
  • 支持分布式多机多卡训练,例如mpi/deepspeed/Colossal-AI
大模型支持大模型推理
  • 支持chatglm/chatglm2/lalma/llama2/通义千问部署
大模型支持大模型微调
  • 支持chatglm2/llama2/baichuan2 lora微调
大模型智能对话
  • 提供支持多场景对话,支持提示词构建,推理接口配置,llm问答,支持问询中模型切换,清理,历史上下文
大模型私有知识库
  • 私有知识库配置,私有知识库召回
大模型私有知识库
  • 支持召回列表模式
大模型私有知识库
  • 支持aigc模式
大模型私有知识库
  • 支持微信公众号服务号对接
大模型私有知识库
  • 支持企业微信群聊机器人对接
大模型私有知识库
  • 支持钉钉群聊机器人对接

帮助文档

https://github.com/tencentmusic/cube-studio/wiki

开源共建

学习、部署、体验、开源建设、商业合作 欢迎来撩。或添加微信luanpeng1234,备注<开源建设>

支持模板

提示:

  • 1、可自由定制任务插件,更适用当前业务需求
模块模板类型文档地址
数据导入导出datax单机job-template/job/datax/README.md
数据导入导出数据集导入单机job-template/job/dataset/README.md
数据导入导出模型导入单机job-template/job/model_download/README.md
数据预处理data-process单机job-template/job/data-process/README.md
数据处理工具hadoop单机job-template/job/hadoop/README.md
数据处理工具spark分布式job-template/job/spark/README.md
数据处理工具ray分布式job-template/job/ray/README.md
数据处理工具volcanojob分布式job-template/job/volcano/README.md
特征处理feature-process单机job-template/job/feature-process/README.md
机器学习框架ray-sklearn分布式job-template/job/ray_sklearn/README.md
机器学习算法random_forest单机job-template/job/random_forest/README.md
机器学习算法lr单机job-template/job/lr/README.md
机器学习算法lightgbm单机job-template/job/lightgbm/README.md
机器学习算法knn单机job-template/job/knn/README.md
机器学习算法kmeans单机job-template/job/kmeans/README.md
机器学习算法nni单机job-template/job/hyperparam-search-nni/README.md
机器学习算法xgb单机job-template/job/xgb/README.md
机器学习算法gbdt单机job-template/job/gbdt/README.md
机器学习算法decision-tree单机job-template/job/decision_tree/README.md
机器学习算法bayesian单机job-template/job/bayesian/README.md
机器学习算法adaboost单机job-template/job/adaboost/README.md
深度学习tfjob分布式job-template/job/tf/README.md
深度学习pytorchjob分布式job-template/job/pytorch/README.md
深度学习paddle分布式job-template/job/paddle/README.md
深度学习mxnet分布式job-template/job/mxnet/README.md
深度学习mindspore分布式job-template/job/mindspore/README.md
深度学习horovod分布式job-template/job/horovod/README.md
深度学习mpi分布式job-template/job/mpi/README.md
深度学习colossalai分布式job-template/job/colossalai/README.md
深度学习deepspeed分布式job-template/job/deepspeed/README.md
深度学习megatron分布式job-template/job/megatron/README.md
模型处理model-evaluation单机job-template/job/model_evaluation/README.md
模型服务化model-convert单机job-template/job/model_convert/README.md
模型服务化model-register单机job-template/job/model_register/README.md
模型服务化deploy-service单机job-template/job/deploy-service/README.md
模型服务化model-offline-predict分布式job-template/job/model_offline_predict/README.md
多媒体类media-download分布式job-template/job/video-audio/README.md
多媒体类video-img分布式job-template/job/video-audio/README.md
多媒体类video-audio分布式job-template/job/video-audio/README.md
大模型llama2单机多卡job-template/job/llama2/README.md
大模型chatglm2单机多卡job-template/job/chatglm2/README.md
大模型baichuan2单机多卡job-template/job/baichuan2/README.md

公司

图片 1

平台简介

完整的平台包含

  • 1、机器的标准化
  • 2、分布式存储(单机可忽略)、k8s集群、监控体系(prometheus/efk/zipkin)
  • 3、基础能力(tf/pytorch/mxnet/valcano/ray等分布式,nni/katib超参搜索)
  • 4、平台web部分(oa/权限/项目组、在线构建镜像、在线开发、pipeline拖拉拽、超参搜索、推理服务管理等)
image

算力/存储/用户管理

算力:

  • 云原生统筹平台cpu/gpu等算力
  • 支持划分多资源组,支持多k8s集群,多地部署
  • 支持T4/V100/A100/昇腾/dcu/VGPU等异构GPU/NPU环境
  • 支持边缘集群模式,支持边缘节点上开发/训练/推理
  • 支持鲲鹏芯片arm64架构,RDMA

存储:

  • 自带分布式存储,支持多机分布式下文件处理
  • 支持外部存储挂载,支持项目组挂载绑定
  • 支持个人存储空间/组空间等多种形式
  • 平台内存储空间不需要迁移

用户权限:

  • 支持sso登录,对接公司账号体系
  • 支持项目组划分,支持配置相应项目组用户的权限
  • 管理平台用户的基本信息,组织架构,rbac权限体系

多集群管控

cube支持多集群调度,可同时管控多个训练或推理集群。在单个集群内,不仅能做到一个项目组内对在线开发、训练、推理的隔离,还可以做到一个k8s集群下多个项目组算力的隔离。另外在不同项目组下的算力间具有动态均衡的能力,能够在多项目间共享公共算力池和私有化算力池,做到成本最低化。

image

分布式存储

cube会自动为用户挂载用户的个人目录,同一个用户在平台任何地方启动的容器,其用户个人子目录均为/mnt/$username。可以将pvc/hostpath/memory/configmap等挂载成容器目录。同时可以在项目组中配置项目组的默认挂载,进而实现一个项目组共享同一个目录等功能。

image

在线开发

  • 系统多租户/多实例管理,在线交互开发调试,无需安装三方控件,只需浏览器就能完成开发。
  • 支持vscode,jupyter,Matlab,Rstudio等多种在线IDE类型
  • Jupyter支持cube-studio sdk,Julia,R,python,pyspark多内核版本,

在这里插入图片描述

  • 支持c++,java,conda等多种开发语言,以及tensorboard/git/gpu监控等多种插件
  • 支持ssh remote与notebook互通,本地进行代码开发
  • 在线镜像构建,通过Web Shell方式在浏览器中完成构建;并提供各种版本notebook,inference,gpu,python等基础镜像

在这里插入图片描述

标注平台:

  • 支持图/文/音/多模态/大模型多种类型标注功能,用户管理,工作任务分发
  • 对接aihub模型市场,支持自动化标注;对接数据集,支持标注数据导入;对接pipeline,支持标注结果自动化训练

在这里插入图片描述

拖拉拽pipeline编排

1、Ml全流程

数据导入,数据预处理,超惨搜索,模型训练,模型评估,模型压缩,模型注册,服务上线,ml算法全流程

2、灵活开放

支持单任务调试、分布式任务日志聚合查看,pipeline调试跟踪,任务运行资源监控,以及定时调度功能(包含补录,忽略,重试,依赖,并发限制,过期淘汰等功能)

在这里插入图片描述

分布式框架

1、训练框架支持分布式(协议和策略)
2、代码识别分布式角色(有状态)
3、控制器部署分布式训练集群(operator)
4、配置分布式训练集群的部署(CRD)

多层次多类型算子

以k8s为核心,
1、支持tf分布式训练、pytorch分布式训练、spark分布式数据处理、ray分布式超参搜索、mpi分布式训练、horovod分布式训练、nni分布式超参搜索、mxnet分布式训练、volcano分布式数据处理、kaldi分布式语音训练等,
2、 以及在此衍生出来的分布式的数据下载,hdfs拉取,cos上传下载,视频采帧,音频抽取,分布式的训练,例如推荐场景的din算法,ComiRec算法,MMoE算法,DeepFM算法,youtube dnn算法,ple模型,ESMM模型,双塔模型,音视频的wenet,containAI等算法的分布式训练。

在这里插入图片描述

功能模板化

  • 和非模板开发相比,使用模板建立应用成本会更低一些,无需开发平台。
  • 迁移更加容易,通过模板标准化后,后续应用迁移迭代只需迁移配置模板,简化复杂的配置操作。
  • 配置复用,通过简单的配置就可以复用这些能力,算法与工程分离避免重复开发。

为了避免重复开发,对pipeline中的task功能进行模板化开发。平台开发者或用户可自行开发模板镜像,将镜像注册到平台,这样其他用户就可以复用这些功能。平台自带模板在job-template目录下

image

流水线调试

  • Pipeline调试支持定时执行,支持,补录,并发限制,超时,实例依赖等。
  • Pipeling运行,支持变量在任务间输入输出,全局变量,流向控制,模板变量,数据时间等
  • Pipeling运行,支持任务结果可视化,图片、csv/json,echart源码可视化

在这里插入图片描述

nni超参搜索

界面化呈现训练各组数据,通过图形界面进行直观呈现。
减少以往开发调参过程的枯燥感,让整个调参过程更加生动具有趣味性,完全无需丰富经验就能实现更精准的参数控制调节。

# 上报当前迭代目标值
nni.report_intermediate_result(test_acc)
# 上报最终目标值
nni.report_final_result(test_acc)# 接收超参数为输入参数
parser.add_argument('--batch_size', type=int)

image

推理服务

0代码发布推理服务从底层到上层,包含服务网格,serverless,pipeline,http框架,模型计算。

  • 服务网格阶段:主要工作是代理流量的中转和管控,例如分流,镜像,限流,黑白名单之类的。

  • serverless阶段:主要为服务的智能化运维,例如服务的激活,伸缩容,版本管理,蓝绿发布。

  • pipeline阶段:主要为请求在各数据处理/推理之间的流动。推理的前后置处理逻辑等。

  • http/grpc框架:主要为处理客户端的请求,准备推理样本,推理后作出响应。

  • 模型计算:模型在cpu/gpu上对输入样本做前向计算。

主要功能:

  • 支持模型管理注册,灰度发布,版本回退,模型指标可视化,以及在piepline中进行模型注册
  • 推理服务支持多集群,多资源组,异构gpu环境,平台资源统筹监控,VGPU,服务流量分流,复制,sidecar
  • 支持0代码的模型发布,gpu推理加速,支持训练推理混部,服务优先级,自定义指标弹性伸缩。

image

监控和推送

监控:cube-studio集成prometheus生态,可以监控包括主机,进程,服务流量,gpu等相关负载,并配套grafana进行可视化

推送:cube-studio开放推送接口,可自定义推送给企业oa系统

在这里插入图片描述

AIHub

  • 系统自带通用模型数量400+,覆盖绝大数行业场景,根据需求可以不断扩充。
  • 模型开源、按需定制,方便快速集成,满足用户业务增长及二次开发升级。
  • 模型标准化开发管理,大幅降低使用门槛,开发周期时长平均下降30%以上。

在这里插入图片描述

  • AIHub模型可一键部署为WEB端应用,手机端/PC端皆可,实时查看模型应用效果
  • 点击模型开发即可进入notebook进行模型代码的二次开发,实现一键开发
  • 点击训练即可加入自己的数据进行一键微调,使模型更贴合自身场景

在这里插入图片描述

GPT训练微调

  • cube-studio支持deepspeed/colossalai等分布式加速框架,可一键实现大模型多机多卡分布式训练
  • AIHub包含gpt/AIGC大模型,可一键转为微调pipeline,修改为自己的数据后,便可以微调并部署

在这里插入图片描述

GPT-RDMA

rdma插件部署后,k8s机器可用资源

capacity:cpu: '128'memory: 1056469320Kinvidia.com/gpu: '8'rdma/hca: '500'

代码分布式训练中使用IB设备

export NCCL_IB_HCA=mlx5
export MLP_WORKER_GPU=$GPU_NUM
export MLP_WORKER_NUM=$WORLD_SIZE
export MLP_ROLE_INDEX=$RANK
export MLP_WORKER_0_HOST=$MASTER_ADDR
export MLP_WORKER_0_PORT=$MASTER_PORT

在这里插入图片描述

gpt私有知识库

  • 数据智能模块可配置专业领域智能对话,快速敏捷使用llm
  • 可为某个聊天场景配置私有知识库文件,支持主题分割,语义embedding,意图识别,概要提取,多路召回,排序,多种功能融合

在这里插入图片描述

gpt智能聊天

  • 可以将智能会话与AIHub相结合,例如下面AIGC模型与聊天会话
  • 可使用Autogpt方式串联所有aihub模型,进行图文音智能化处理
  • 智能会话与公共直接打通,可在微信公众号中进行图文音对话

在这里插入图片描述

数据中台对接

为了加速AI算法平台的使用,cube-studio支持对接公司原有数据中台,包括数据计算引擎sqllab,元数据管理,指标管理,维表管理,数据ETL,数据集管理

在这里插入图片描述

三种方式部署

针对企业需求,根据不同场景对计算实时性的不同需求,可以提供三种建设模式

模式一:私有化部署——对数据安全要求高、预算充足、自己有开发能力
模式二:边缘集群部署——算力分散,多个子网环境的场景,或边缘设备场景
模式三:serverless集群——成本有限,按需申请算力的场景

边缘计算

通过边缘集群的形式,在中心节点部署平台,并将边缘节点加入调度,每个私有网用户,通过项目组,将notebook,pipeline,service部署在边缘节点

  • 1、避免数据到中心节点的带宽传输
  • 2、避免中心节点的算力成本,充分利用边缘节点算力
  • 3、避免边缘节点的运维成本

图片 1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/38653.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

绘图黑系配色

随便看了几篇小论文&#xff0c;里面的黑配色挺喜欢的&#xff0c;虽然平时SCI系配色用的多&#xff0c;但看到纯黑配色与黑加蓝配色&#xff0c;那就是我最心上的最优style。

一文了解IP地址冲突的起因与解决方案

IP 地址冲突是困扰网络管理员影响网络的正常运行的常见因素。深入理解并有效解决 IP 地址冲突故障对于维护网络的高效稳定运行具有重要意义。 一、IP 地址冲突的原因 &#xff08;一&#xff09;人为配置错误 网络用户在手动配置 IP 地址时&#xff0c;对网络配置了解不多用户…

OpenGL3.3_C++_Windows(23)

伽ga马校正 物理亮度 光子数量 线性空间&#xff1a;光子数(亮度&#xff09;和颜色值的线性关系人眼感知的亮度&#xff1a;对比较暗的颜色变化更敏感&#xff0c;感知亮度基于人的感觉非线性空间&#xff1a;光子数(亮度&#xff09;和 颜色值^2.2&#xff0c;恰好符合屏幕…

为什么我学个 JAVA 就已经耗尽所有而有些人还能同时学习多门语言

在开始前刚好我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「JAVA的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff01;我的入门语言是C&#xff0c…

互联网场景下人脸服务基线方案总结

1.简介 1.1目的 在过去的一段时间里&#xff0c;因为听见业务对人脸服务方案的需求&#xff0c;针对网络视频中关键人物定位的检索任务&#xff0c;完成了基于互联网场景的人脸基线服务的构建。本文档是对当前基线服务以后之后解决方案的优化进行总结。 1.2范围 本文档描述的人…

c++读取文件时出现中文乱码

原因&#xff1a;UTF-8格式不支持汉字编码 解决&#xff1a;改成ANSI&#xff0c;因为ANSI编码支持汉字编码

Python学习路线图(2024最新版)

这是我最开始学Python时的一套学习路线&#xff0c;从入门到上手。&#xff08;不敢说精通&#xff0c;哈哈~&#xff09; 一、Python基础知识、变量、数据类型 二、Python条件结构、循环结构 三、Python函数 四、字符串 五、列表与元组 六、字典与集合 最后再送给大家一套免费…

KVB App:中国制造业数据支撑澳元,分析师预计挑战0.6750阻力

摘要&#xff1a; 中国6月财新制造业PMI上升至51.8&#xff0c;反映出制造业生产经营活动的持续扩张。这一数据不仅高于预期&#xff0c;还为澳元提供了强有力的支撑。技术分析显示&#xff0c;澳元/美元可能会在短期内挑战0.6750阻力水平。 中国制造业数据解析 6月&#xff0…

python异常、模块与包

目录 了解异常异常的捕获方法python模块python包安装第三方包 了解异常 什么是异常 当检测到一个错误时&#xff0c;python解释器就无法继续执行了&#xff0c;反而出现了一些错误的提示&#xff0c;这就是所谓的“异常”&#xff0c;也就是我们常说的BUG bug单词的诞生 早期…

Python tkinter: 开发一个目标检测GUI小程序

程序提供了一个用户友好的界面&#xff0c;允许用户选择图片或文件夹&#xff0c;使用行人检测模型进行处理&#xff0c;并在GUI中显示检测结果。用户可以通过点击画布上的检测结果来获取更多信息&#xff0c;并使用键盘快捷键来浏览不同的图片。 一. 基本功能介绍 界面布局&am…

智芯开发板----时钟的使用

一、开发板时钟概述 介绍 Z20K11xM 的时钟结构&#xff0c;分布以及各个外设时钟源的选择。SCC 模块用于选择系统时钟&#xff0c;产生 core clock、bus clock 和 flash clock&#xff0c;分 别用于驱动 core 及高速外设、普通外设和 flash。PARCC 模块用于单独设置 每个外设的…

中霖教育怎么样?税务师通过率高吗?

中霖教育怎么样?税务师通过率高吗? 我们在税务师考试培训方面有着不错的成绩&#xff0c;这都是老师与学员共同努力的结果。 采用小班教学模式&#xff0c;确保每位学员都能得到足够的关注和指导&#xff0c;在学习过程中针对学员的薄弱环节进行专项突破。 因为大部分学员…

【C语言】常见的字符串函数

©作者:末央&#xff06; ©系列:C语言初阶(适合小白入门) ©说明:以凡人之笔墨&#xff0c;书写未来之大梦 目录 strlen函数模拟实现 strstr子串查找函数模拟实现 strtok字符串分割 strlen函数 strlen函数是一个用于求字符串长度的库函数。它的参数是被求长度的字…

【爱上C++】详解string类2:模拟实现、深浅拷贝

在上一篇文章中我们介绍了string类的基本使用&#xff0c;本篇文章我们将讲解string类一些常用的模拟实现&#xff0c;其中有很多细小的知识点值得我们深入学习。Let’s go&#xff01; 文章目录 类声明默认成员函数构造函数析构函数拷贝构造函数深浅拷贝问题传统写法现代写法…

泛型的使用(<T>)

文章目录 前言一、泛型是什么&#xff1f;二、泛型的使用 1.定义泛型类2.泛型的常规用法总结 前言 强制类型转换存在一定隐患&#xff0c;如数据丢失、内存溢出、运行时错误、程序逻辑错误等。所以提供了泛型机制&#xff0c;使程序员可以定义安全的数据类型进行操作。通俗的理…

CEPH 系统盘挂了,如何使用数据盘恢复

硬盘损坏是早晚的时&#xff0c;CEHP数据盘坏了&#xff0c;使用CEPH的基本都轻车熟路了&#xff0c;如果系统盘坏了呢&#xff1f;不知道的可能会采取整个系统盘全做的方式 前提条件&#xff1a;使用cephadm搭建集群 如果换服务器&#xff0c;请确保CEPH数据盘放到其它服务器上…

Python基础教程——一次搞懂 Python 字典!Python字典的20种神奇用法

Python 字典&#xff08;Dictionary&#xff09;是数据结构中的一种重要类型。它以键值对的形式存储数据&#xff0c;具有快速查找的特性。今天我们将通过生动有趣的案例&#xff0c;来探讨字典的20个经典操作&#xff0c;帮助大家深入理解和掌握这些概念。 1. 创建字典 字典…

Python从0到100(三十四):Python中的urllib模块使用指南

1. urllib模块概述 在Python中&#xff0c;除了广泛使用的requests模块之外&#xff0c;urllib模块也是处理HTTP请求的重要工具。urllib模块在Python 2中分为urllib和urllib2两个模块&#xff0c;而在Python 3中&#xff0c;它们被合并为一个urllib模块。本文将重点介绍Python…

【鸿蒙学习笔记】Column迭代完备

属性含义介绍 Column({ space: 10 }) {Row() {Text(文本描述).size({ width: 80%, height: 60 }).backgroundColor(Color.Red)}.width(90%).height(90).backgroundColor(Color.Yellow) } .width(100%) // 宽度 .height(200) // 高度 .backgroundColor(Color.Pink) // 背景色 .…

pcap包常见拆分方法

文章目录 Wireshark 拆分流量包SplitCap使用简介魔数报错示例结果 在进行流量分析时&#xff0c;经常需要分析pcap流量包。但是体积过大的流量包不容易直接分析&#xff0c;经常需要按照一定的规则把它拆分成小的数据包。 这里统一选择cic数据集里的Thursday-WorkingHours.pcap…