互联网行业AI训练平台案例
——容器+NV Device Pulg-In+虚拟化技术 构建弹性资源池
| 背景 | 某头部互联网搜索公司的AI训练平台支撑搜索的全AI业务的训练任务，平台采用K8S+Docker+NV Device Pulg-In方式，以物理GPU卡为最小单位为用户分配GPU资源。 |
| 痛点 | 存在无法快速支持跨设备多卡训练，卡资源碎片化，资源调度不灵活，资源利用率低和无法统一监控管理资源等问题。 |
| 方案 | 资源池化解决方案改造当前基于K8S+Docker的GPU集群，既增加了软件定义带来的使用/管理便捷性，又无需修改上层AI应用。 |
| 客户收益 | • 场景： 支持 训练、研发 等用户 AI 应用场景； • GPU 使用率提升： 验证跨设备 16 卡多卡训练加速比，相比于单卡，可达 14.8 倍； • 工作效率提升： 快速支持跨设备多卡训练，有效降低算法工程师的工作负载； |
)
