英特尔近期发布消息，其将在中国市场推出专为该地区定制的“特供版”Gaudi 3 AI芯片，以符合美国对AI芯片的出口管制。这一版本包括HL-328型号的OAM兼容夹层卡，预计将于6月24日发布；以及HL-388型号的PCIe加速卡，计划在9月24日推出。这些芯片保持了与原版相同的硬件配置，包括96MB的SRAM片上内存和128GB的HBM2e高带宽内存，带宽高达3.7TB/s，并支持PCIe 5.0 x16接口和标准解码。
由于出口管制，特供版的综合运算性能（TPP）被限制在4800以下，意味着其16bit性能不得超过150 TFLOPS，相比原版Gaudi 3在FP16/BF16性能可达1835 TFLOPS，特供版需降低约92%的AI性能。但性能降低也带来了功耗显著下降，特供版的PCIe卡和OAM卡的热设计功耗（TDP）均为450瓦，远低于原版的600瓦和900瓦。
挑战 Nvidia H100 的 Gaudi 3
在最近的Vision 2024活动中，英特尔在凤凰城发布了其最新的AI加速器芯片——Gaudi 3。此芯片号称在运行大型语言模型（如支持ChatGPT的模型）时性能卓越，被视为Nvidia当前广受欢迎的数据中心GPU H100的有力竞争者。尽管H100曾经供应紧张，现状已有所改善。
与Nvidia的H100芯片相比，英特尔宣称Gaudi 3在训练OpenAI的GPT-3 175B LLM和Meta的Llama 2 70亿参数版本时，训练时间可快50%。在推理性能（即运行训练模型以产生输出）方面，Gaudi 3同样声称比H100快50%。
面对H100在市场上的高占有率，英特尔特意瞄准了这一市场。尽管Nvidia已经宣布了更强大的AI加速器芯片H200和Blackwell B200，但这两款芯片尚未上市（H200预计将在2024年第二季度发布）。
与此同时，H100的供应问题曾让众多科技公司和AI研究者头疼，不得不争抢可用于训练AI模型的芯片。这导致像微软、Meta和OpenAI（据传）等科技公司寻求自主设计AI加速器芯片，这些定制硅片通常由英特尔或台积电生产。谷歌自2015年起就在内部使用其张量处理单元（TPU）。
鉴于这些问题，如果英特尔能够为Gaudi 3设定一个理想的价格（虽然英特尔尚未提供价格，但据报道H100的成本约为30,000至40,000美元）并保持充足的生产，Gaudi 3可能成为H100的一个具有吸引力的替代品。AMD也生产竞争力强的AI芯片，如AMD Instinct MI300系列，售价约为10,000至15,000美元。
英特尔表示，新芯片在其前代Gaudi 2的架构基础上进行了改进，特别是增加了两个相同的硅片，通过高带宽连接相连。每个硅片包含48兆字节的中央缓存内存，周围配备了四个矩阵乘法引擎和32个可编程张量处理器核心，总核心数达到64个。
据英特尔声称，Gaudi 3的AI计算性能是Gaudi 2的两倍，使用8位浮点基础设施，这对于训练变换模型至关重要。此外，该芯片还提供了使用BFloat 16数字格式计算的四倍提速。Gaudi 3还配备了128GB较便宜的HBM2e内存容量（这可能有助于价格竞争力），并具有3.7TB的内存带宽。
由于数据中心的高能耗，英特尔强调了Gaudi 3的能效，声称在Llama 7B和70B参数以及Falcon 180B参数模型上，推理能效比Nvidia的H100高出40%。英特尔Habana Labs的首席运营官Eitan Medina将这一优势归因于Gaudi的大矩阵数学引擎，他声称这种引擎与其他架构相比，需要的内存带宽显著较低。
在此之前，大家都关注了Nvidia的Blackwell架构及其B200 GPU的引人注目的发布，Nvidia声称这将是世界上最强大的AI芯片。因此，将英特尔目前能够生产的最佳芯片与Nvidia的最高性能AI芯片进行比较似乎很自然。
就制造技术而言，据IEEE Spectrum报道，Gaudi 3采用了台积电的N5工艺技术，这缩小了英特尔与Nvidia在半导体制造技术方面的差距。即将推出的Nvidia Blackwell芯片将使用定制的N4P工艺，据称在性能和效率上提供适度的改进。
Gaudi 3使用HBM2e内存（如上文提及）与使用更昂贵的HBM3或HBM3e的竞争对手芯片相比，提供了性能与成本效率的平衡。这一选择似乎强调了英特尔不仅在性能上竞争，还在价格上竞争的战略。
尽管Gaudi 3与B200的原始性能比较尚不能确定，直到芯片发布并由第三方进行基准测试后才能得知。
随着科技行业对AI计算的需求日益增加，IEEE Spectrum指出，英特尔Gaudi芯片的下一代，代号为Falcon Shores的产品，仍然备受关注。英特尔是否继续依赖台积电的技术，或利用自己的代工业务和即将推出的纳米片晶体管技术在AI加速器市场获得竞争优势，仍有待观察。
