人工智能GPU互联技术分析,芯片巨头UALink向英伟达NVLink开战

 芯片巨头组团,向英伟达NVLink开战

  103894d7023e77aa2268d4fcfaa1e37c.jpeg 

八大科技巨头——AMD、博通、思科、Google、惠普企业、英特尔、Meta及微软——联合推出UALink(Ultra Accelerator Link)技术,为人工智能数据中心网络设定全新互联标准。此举旨在打破Nvidia的市场垄断,通过开放标准促进AI加速器间的通信效率。UALink技术的推出,预示着人工智能领域将迎来更加开放、高效的互联新时代。

283b1487fda0a0d719247337eebe526a.jpeg

英伟达,人工智能芯片市场的领军者,GPU份额独占鳌头。其技术优势不止于此,更具备多GPU与系统间的工作负载扩展能力。凭借片上封装互连、NVLink实现GPU间高效通信、Infiniband跨pod扩展,以及以太网连接广泛基础设施,英伟达构筑了全方位的技术生态,引领未来计算新纪元。

行业内企业正采用开放标准反击,角逐细分市场。去年,Ultra Ethernet崭露头角,以增强型以太网为武器,挑战Nvidia的InfiniBand高性能互连标准。InfiniBand作为GPU加速节点连接的事实标准,曾收获丰厚利润,现面临强劲对手。行业变革,一触即发。

今年,我们将迎来全新的Ultra Accelerator Link,简称UALink,这一新标准意在取代Nvidia的NVLink协议及其内存结构NVLink Switch(或称NVSwitch)。在深入剖析UALink之前,让我们先一探NVLink的究竟。UALink,即将开启高性能计算的新篇章,敬请期待。

英伟达的隐形护城河

英伟达GPU与CUDA的深厚积淀构筑了坚实的行业壁垒。然而,其隐形优势亦不容忽视。NVLink作为GPU间高速互联技术,更是英伟达独特护城河之一,彰显其在科技领域的领先地位。

在摩尔定律逐渐失效,但对算力要求越来越高的当下,这种互联显得尤为必要。

英伟达官方网站宣称,NVLink作为全球领先的高速GPU互连技术,为多GPU系统开辟了新路径。相较于传统PCI-E,其速度大幅提升。通过NVLink连接两张NVIDIA GPU,可灵活调整内存与性能,轻松应对专业视觉运算的高负载需求,为行业树立新标杆。

af4ffcc172ba7e170b51438821bafdca.jpeg

NVLink技术最初旨在整合Nvidia GPU内存,后经Nvidia Research进一步研发,实现了通过交换机驱动端口,以创新的杠铃或十字交叉方形拓扑结构,灵活连接两个甚至四个GPU。这一技术革新借鉴了数十年来CPU双插槽和四插槽服务器的构建理念,使得GPU的连接方式更为高效和多样。NVLink不仅提升了计算能力,还为构建更强大的服务器系统奠定了坚实基础。

AI系统曾需八至十六个GPU共享内存,简化编程,实现高速数据访问。2018年,基于“Volta”V100 GPU加速器的DGX-2平台迅速商业化,引入NVSwitch,极大地提升了数据处理效率,标志着AI硬件领域的重要里程碑。

当前,NVLink技术能实现GPU间每秒1.8TB的高速数据传输。更厉害的是,其机架级交换机可在无阻碍计算架构中支持多达576个全连接GPU。借由NVLink相连的GPU构成独立“pod”,每个“pod”均拥有专属的数据与计算域,效能显著。

除了Nvlink,还有PCI总线和Server-to-Server互联两种方式可连接GPU。标准服务器在PCI总线上一般支持4-8个GPU,但借助GigaIO FabreX内存结构等先进技术,该数量可提升至32个,极大扩展了GPU的连接能力。这种技术的运用,为高性能计算提供了更强大的支持。

以太网或InfiniBand连接GPU服务器,实现横向扩展,快速多GPU域经慢速网络连接,构建高效大型计算网络,助力数据处理能力飞跃。

自比特在机器间自由穿梭,以太网便始终是计算机网络的中坚力量。近日,超级以太网联盟的崛起更将这一规范推向高性能新境界。值得一提的是,英特尔已高举互连大旗,其Gaudi-2 AI处理器傲拥24个100千兆以太网连接,展现了以太网技术的无限潜力。

Nvidia未加入超级以太网联盟,原因在于2019年3月对Mellanox的收购,使其稳坐高性能InfiniBand互连市场之冠。超级以太网联盟旨在成为InfiniBand的替代选择,而英特尔曾是InfiniBand技术的领军者。Nvidia通过自身实力,在高性能计算领域展现出独特优势。

在现有条件下,MI300A APU仅能通过AMD Infinity Fabric连接,对于其他用户来说别无选择。类似于InfiniBand/以太网,市场呼唤非Nvidia的"pod空缺"解决方案。UALink应运而生,成为填补这一空白的关键,为行业带来新的竞争格局。

什么是UALink?

超级加速器链(UALink)是提升新一代AI/ML集群性能的高速互连技术。八家行业领军企业(不含英伟达)携手创立开放标准机构,致力于制定技术规范,驱动突破性性能革新,同时支持数据中心加速器的开放生态发展,开启全新应用模式。

917e134e28038acc291b20e9178a542f.jpeg

AI计算需求激增,稳健、低延迟、高效纵向扩展的网络成为关键。制定开放的行业标准规范,对纵向扩展功能至关重要,旨在打造开放、高性能的AI工作负载环境,释放性能极限,满足行业迫切需求。

33ee10d9b56ccc944288f925be0df3de.jpeg

UALink与行业规范在新一代AI数据中心接口标准化中扮演核心角色,特别是AI、机器学习、HPC及云应用方面。工作组将明确规范,确保AI计算容器组中加速器与交换机间实现高效、低延迟的纵向扩展通信,推动技术发展。

从相关资料可以看到,Ultra Accelerator Link 联盟的核心于去年 12 月就已经建立,当时 CPU 和 GPU 制造商 AMD 和 PCI-Express 交换机制造商博通表示,博通未来的 PCI-Express 交换机将支持 xGMI 和 Infinity Fabric 协议,用于将其 Instinct GPU 内存相互连接,以及使用 CPU NUMA 链接的加载/存储内存语义将其内存连接到 CPU 主机的内存。相关消息显示,这将是未来的“Atlas 4”交换机,它将遵循 PCI-Express 7.0 规范,并于 2025 年上市。博通数据中心解决方案集团副总裁兼总经理 Jas Tremblay 证实,这项工作仍在进行中,但不要妄下结论。换而言之,我们不要以为 PCI-Express 是唯一的 UALink 传输,也不要以为 xGMI 是唯一的协议。

AMD 为 UALink 项目贡献了范围更广的 Infinity Fabric 共享内存协议以及功能更有限且特定于 GPU 的 xGMI,而所有其他参与者都同意使用 Infinity Fabric 作为加速器互连的标准协议。

英特尔高级副总裁兼网络和边缘事业部总经理 Sachin Katti 表示,由 AMD、博通、思科系统、谷歌、惠普企业、英特尔、Meta Platforms 和微软组成的 Ultra Accelerator Link“推动者小组”正在考虑使用以太网第 1 层传输层,并在其上采用 Infinity Fabric,以便将 GPU 内存粘合到类似于 CPU 上的 NUMA 的巨大共享空间中。

如下图所示,我们分享了如何使用以太网将 Pod 链接到更大的集群:

1fed7e3e1d07528af88670b1446b373c.jpeg

如thenextplatform所说,没人期望将来自多个供应商的 GPU 连接到一个机箱内,甚至可能是一个机架或多个机架中的一个Pod内。但 UALink 联盟成员确实相信,系统制造商将创建使用 UALink 的机器,并允许在客户构建其舱时将来自许多参与者的加速器放入这些机器中。

您可以有一个带有 AMD GPU 的Pod,一个带有 Intel GPU 的Pod,另一个带有来自任意数量的其他参与者的自定义加速器Pod。它允许在互连级别实现服务器设计的通用性,就像 Meta Platforms 和 Microsoft 发布的开放加速器模块 (OAM) 规范允许系统板上加速器插槽的通用性一样。

简而言之,UALink的独特之处在于,它让行业内的每个人都能与NVIDIA技术保持同步。如今,NVIDIA已能制造NVSwitch盒,并将这些NVSwitch托盘融入诸如NVIDIA DGX GB200 NVL72等产品中,从而引领行业创新,为用户带来更多可能性。

英特尔今年AI加速器销售额飙升至数亿美元,销量或达数万台。AMD紧随其后,将凭借MI300X创收数十亿美元,但仍难以望NVIDIA之项背。值得一提的是,Broadcom等公司凭借UALink技术,打造出UALink交换机,助力企业轻松扩展规模,实现多家公司加速器的灵活联通,这一创新技术正引领行业新风向。

Broadcom Atlas交换机计划挑战AMD Infinity Fabric与NVIDIA NVLink,将UALink V1.0技术融入PCIe Gen7架构。尽管UALink V1.0规范尚未发布,但预计其将显著提升交换机性能。这一创新策略旨在与业界领导者展开竞争,为数据中心互联领域带来革命性变革。

1.0版规范将支持AI容器组连接最多1,024个加速器,实现容器组中加速器(如GPU)内存的直接加载与存储。UALink联盟已成立,预计2024年第三季度正式运作。届时,该规范将向UALink联盟成员公司开放,引领超级加速器链的新篇章,推动AI技术的飞跃发展。

CXL怎么办?

近年来,行业巨头纷纷承诺,基于PCI-Express架构的Compute Express Link (CXL)协议将实现卓越功能。例如,CXLmem子集已率先实现CPU与GPU间的内存共享,预示了该技术的前瞻性与实用性。

但在分析人士看来,PCI-Express 和 CXL 是更广泛的传输和协议。

Katti 强调,AI加速器模块的内存域远超CPU集群,CPU集群通常扩展至2-16个计算引擎。而AI加速器的GPU模块能扩展至数百甚至数千个计算引擎。尤为关键的是,与CPU NUMA集群相比,GPU集群(特别是运行AI工作负载的集群)对内存延迟的容忍度更高,为大规模计算提供了强大支撑。

The Next Platform强调,UALinks不会捆绑CPU,但CXL链接有望成为CPU共享内存的标准方式,甚至可能实现跨架构共享,预示着未来内存共享技术的革新方向。

此举旨在打破NVLink在互连结构内存语义领域的垄断。面对Nvidia的NVLink与NVSwitch,竞争对手需为潜在客户呈现可靠替代方案。无论客户选择GPU还是其他类型加速器或系统,他们均渴望AI服务器节点及机架设备获得更开放、更经济的互连选择,以超越Nvidia的现有技术。

“当我们审视整个数据中心对 AI 系统的需求时,有一点非常明显,那就是 AI 模型继续大规模增长,”AMD 数据中心解决方案事业部总经理 Forrest Norrod 说道。“每个人都可以看到,这意味着对于最先进的模型,许多加速器需要协同工作以进行推理或训练。能够扩展这些加速器对于推动未来大规模系统的效率、性能和经济性至关重要。扩展有几个不同的方面,但 Ultra Accelerator Link 的所有支持者都非常强烈地感受到,行业需要一个可以快速推进的开放标准,一个允许多家公司为整个生态系统增加价值的开放标准。并且允许创新不受任何一家公司的束缚而快速进行。”

AMD Forrest Norrod所指的无疑是Nvidia。Nvidia通过投资InfiniBand,并开创NVSwitch,为GPU打造了无与伦比的NUMA集群,其超大网络带宽令人瞩目。此举源于PCI-Express交换机在总带宽上的局限,Nvidia的突破为行业树立了新标杆。

令人兴奋的是,UALink 1.0规范预计今年第三季度将圆满完成,届时,Ultra Accelerator Consortium也将成为我们的一员,不仅拥有知识产权,还将助力推动UALink标准的不断进步。而到了第四季度,我们将迎来UALink 1.1版本的更新,新版本将在规模和性能上实现显著提升。不过,目前UALink 1.0和1.1规范将支持哪些传输方式,以及是否兼容PCI-Express或以太网传输,仍有待揭晓。让我们拭目以待吧!

NVSwitch 3结构通过NVLink 4端口理论上可支持高达256个GPU的共享内存pod,但Nvidia商业产品仅覆盖8个GPU。升级至NVSwitch 4与NVLink 5端口后,理论支持跃升至576个GPU,但实际应用中,DGX B200 NVL72系统仅提供最多72个GPU的商业支持,彰显Nvidia在高性能计算领域的持续创新与突破。

当前,众多企业正试图通过标准PCIe交换机和基于PCIe的架构来连接更多加速器,然而这仅被视为临时方案。相较之下,NVIDIA的NVLink技术则被视为行业扩展的标杆,引领着加速器连接的新标准。

现在,UAlink团队正准备发布专有 NVLink 的公开竞争对手。

实现这些目标需要时间。在简报会上,有记者问及是否能在2026年左右达成。考虑到2024年尚早,即便技术整合入产品,也不太可能于2025年初就面市。参考CXL和UCIe等标准的漫长落地过程,可以预见,2026年将是一个可行的快速实施节点。

AMD与英特尔等公司,通过复制NVLink和NVSwitch功能并共享开发成果,开辟新途径。博通作为非NVIDIA系统连接提供商,在纵向与横向扩展中均占据优势,成为潜在的最大赢家。无论AMD或英特尔胜出,博通均能获益。对于超大规模企业而言,投资标准化结构,无论端点制造商是谁,均具备深远意义。

值得一提的是,2019-2020年间,CXL in-box与Gen-Z成为行业拓展的焦点。许多Gen-Z的先驱者现已齐聚AMD,共同构建精英团队,致力于应对并突破扩展技术的挑战,持续推动行业创新与发展。

 

-对此,您有什么看法见解?-

-欢迎在评论区留言探讨和分享。-

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/853325.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python 小市值股票模型代码及回测分析

目录 一、模型介绍 二、代码详解 2.1 初始化函数 2.2 股票筛选过滤函数 2.3 止损函数 2.4 开盘时运行函数 2.5 调仓函数 三、回测结果分析 3.1 收益净值图与概述 3.2 模型收益概览 3.3 年度收益图 3.4 月度收益的时间序列 3.5 月度收益热力图 3.6 月度收益频次分…

java之IO流和集合框架的笔记

1 File类的使用 1.1 概述 File类及本章下的各种流,都定义在java.io包下。 一个File对象代表硬盘或网络中可能存在的一个文件或者文件目录(俗称文件夹),与平台无关。(体会万事万物皆对象) File 能新建、删…

渗透测试nginx增加400,500报错页面

nginx增加400,500报错页面 在Nginx中增加自定义的400和500错误页面,你需要编辑Nginx配置文件,通常这个文件位于 /etc/nginx/nginx.conf 或者 /etc/nginx/conf.d/default.conf,或者在 /usr/local/nginx/conf/nginx.conf (如果你是…

Linux 用户权限 管理员与普通用户区别 sudo命令

介绍 root用户是最大的权限,也叫管理员用户,任何操作不受限,而普通用户在很多地方权限是受限的。 普通用户:一般在HOME目录内不受限,出了HOME目录,大多数只有 读取 和 执行 的权限 不建议长期使用root&…

Java---认识异常

欢迎大家来观看本博课------Java------认识异常。1.异常的概念和体系结构 1.异常的概念和体系结构 1.1 异常的概念 在Java中,在程序执行过程中发生的不正常行为称为异常。如在之前我们经常遇到的算数异常(ArithmeticException)、数组越界…

数据结构学习笔记-并查集

“查”操作&#xff1a;确定一个指定元素所属集合。 “并”操作&#xff1a;将两个不相交的集合并为一个。 1.用双亲表示法实现并查集 #define SIZE 13 int UFSets[SIZE]; //集合元素数组//初始化并查集 void Initial(int S[]){for(int i0;i<SIZE;i)S[i]-1; }//Find &…

GDB:从零开始入门GDB

目录 1.前言 2.开启项目报错 3.GDB的进入和退出 4.GDB调试中查看代码和切换文件 5.GDB调试中程序的启动和main函数传参 6.GDB中断点相关的操作 7.GDB中的调试输出指令 8.GDB中自动输出值指令 9.GDB中的调试指令 前言 在日常开发中&#xff0c;调试是我们必不可少的技能。在专业…

408数据结构-图的遍历 自学知识点整理

前置知识&#xff1a;图的存储与基本操作 图的遍历是指从图的某一顶点出发&#xff0c;按照某种搜索方法沿着图中的边对图中的所有顶点访问一次&#xff0c;且仅访问一次。因为树是一种特殊的图&#xff0c;所以树的遍历实际上也可以视为一种特殊的图的遍历。图的遍历算法是求解…

利用鱼骨图进行项目问题复盘与改进

一、引言 在项目管理中&#xff0c;问题复盘是一个至关重要的环节。它不仅能帮助我们识别项目执行过程中出现的问题&#xff0c;还能促使我们深入探究问题的根本原因&#xff0c;从而采取有效的改进措施。在这个过程中&#xff0c;鱼骨图作为一种强大的工具&#xff0c;为我们…

MEMS:Lecture 16 Gyros

陀螺仪原理 A classic spinning gyroscope measures the rotation rate by utilizing the conservation of angular momentum. 经典旋转陀螺仪通过利用角动量守恒来测量旋转速率。 Coriolis Effect and Coriolis Force 科里奥利效应是一种出现在旋转参考系中的现象。它描述了…

Internet Download Manager ( 极速下载器 ) 序列号注册码 IDM下载器注册机中文激活破解版

IDM下载器(Internet Download Manager)是一款专业的下载管理软件&#xff0c;它通过多线程技术和智能文件分段技术&#xff0c;有效提升下载速度&#xff0c;并支持断点续传&#xff0c;还具有计划下载功能&#xff0c;用户可以设置特定的下载时间&#xff0c;非常适合需要在特…

代码随想录算法训练营刷题复习1 :动态规划背包问题 01背包+完全背包

动态规划刷题复习 一、01背包 416. 分割等和子集1049. 最后一块石头的重量 II494. 目标和474. 一和零 416. 分割等和子集 class Solution { public:bool canPartition(vector<int>& nums) {int sum0;for(int i0;i<nums.size();i) {sumnums[i];}if(sum%2!0)retu…

IP地址、子网掩码、网段、网关

前面相同就是在同一个网段 如果子网掩码和网络号相与的结果是一样的&#xff0c;那么他们就在同一个子网 IP地址、子网掩码、网络号、主机号、网络地址、主机地址以及ip段/数字-如192.168.0.1/24是什么意思?_掩码248可以用几个ip-CSDN博客

mmsegmentation使用记录

问题1. AssertionError: MMCV2.2.0 is used but incompatible. Please install mmcv>2.0.0rc4. (openmmlab) rootautodl-container-92154ba0e6-51e9a975:~/mmsegmentation# python demo/image_demo.py demo/demo.png configs/pspnet/pspnet_r50-d8_4xb2-40k_cityscapes-512…

谷歌上架,APP被移除了,没封号,换个包名还能重新提审上架?

对于在Google Play上架应用的开发者来说&#xff0c;尤其是那些矩阵式上架马甲包的开发者&#xff0c;可能已经遭遇过无数次应用被暂停或移除的情况了。通常这种情况下&#xff0c;账号也随之会被封&#xff0c;且大多数开发者认为&#xff0c;没有立马收到封号邮件的话&#x…

基于scikit-learn的机器学习分类任务实践——集成学习

一、传统机器学习分类流程与经典思想算法简述 传统机器学习是指&#xff0c;利用线性代数、数理统计与优化算法等数学方式从设计获取的数据集中构建预测学习器&#xff0c;进而对未知数据分类或回归。其主要流程大致可分为七个部分&#xff0c;依次为设计获取数据特征集&#x…

【C++】stack、queue和deque的使用

&#x1f497;个人主页&#x1f497; ⭐个人专栏——C学习⭐ &#x1f4ab;点击关注&#x1f929;一起学习C语言&#x1f4af;&#x1f4ab; 目录 导读 一、stack 1. stack介绍 2. stack使用 二、queue 1. queue介绍 2. queue使用 三、deque 1. deque介绍 2. deque的…

【Pandas驯化-01】一文介绍 Pandas中的Dataframe和Series 区别

【Pandas】驯化-01一文介绍 Pandas中的Dataframe和Series 区别 本次修炼方法请往下查看 &#x1f308; 欢迎莅临我的个人主页 &#x1f448;这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合&#xff0c;智慧小天地&#xff01; &#x1f387; 相关内容文档获取 微信公众…

web前端 Socket:深入探索与实战应用

web前端 Socket&#xff1a;深入探索与实战应用 在Web开发领域&#xff0c;Socket技术以其独特的实时通信能力&#xff0c;为前端开发者提供了全新的交互体验。然而&#xff0c;对于初学者来说&#xff0c;Socket的复杂性和多变的应用场景往往令人感到困惑和挑战。本文将从四个…

用helm安装chart的时候如何使用master的IP

在 Helm chart 中获取 Kubernetes 集群的 master IP 并在安装时将其作为环境变量传递给 Pod 是特定场景下的一个常见需求。要实现这一点&#xff0c;你通常需要两个步骤&#xff1a;首先获取 master 节点的 IP 地址&#xff0c;然后在 Helm chart 的 template 文件中将该 IP 作…