今天分享的是AI算力系列深度研究报告:《AI算力专题:AI服务器催化HBM需求爆发,核心工艺变化带来供给端增量》。
(报告出品方:太平洋证券)
报告共计:26页
HBM即高带宽存储器,应用场景集中在服务器GPU显存
• HBM(HighBandwidthMemory)即高带宽存储器,用于GPU与CPU之间的高速数据传输,主要应用场景集中在数 据中心高性能服务器的GPU显存,小部分应用于CPU内存芯片。HBM同样为3D结构,由多层DRAMdie垂直堆叠,每 层die通过TSV(Through Silicon Via)穿透硅通孔+μbumps技术实现与逻辑die连接,再通过中阶层与 GPU/CPU/SoC连接,使得4层、8层、12层等数量die封装于小体积空间中。
HBM经多次处理速度迭代,现至HBM3的扩展版本HBM3E
• HBM经多次处理速度迭代,现至HBM3的扩展版本HBM3E,助力服务器推理性能提升。 HBM1最早于2014年由AMD与SK海力士共同推出,作为GDDR竞品,为4层die堆叠,提供 128GB/s带宽,4GB内存,显著优于同期GDDR5。HBM2于2016年发布,2018年正式推出 ,为4层DRAMdie,现在多为8层die,提供256GB/s带宽,2.4Gbps传输速度,和8GB内 存;HBM2E于2018年发布,于2020年正式提出,在传输速度和内存等方面均有较大提 升,提供3.6Gbps传输速度,和16GB内存。HBM3于2020年发布,2022年正式推出,堆 叠层数及管理通道数均有增加,提供6.4Gbps传输速度,传输速度最高可达819GB/s, 和16GB内存HBM3E由SK海力士发布HBM3的增强版,提供高达8Gbps的传输速度,24GB容 量,计划于2024年大规模量产。
HBM助力AI服务器向更高带宽、容量升级
• 目前主流显卡使用的显存为GDDR5,但在应用中仍存在痛点:
1)消耗大量PCB面积:GPU核心周围分布12/16颗 GDDR5芯片,而GDDR芯片尺寸无法继续缩小,占据更大空间,同时也需要更大的电压调节模块,
2)GDDR5的功 耗提升达到了对GPU性能提升产生负面影响的拐点:由于平台和设备需要在逻辑芯片与DRAM之间的实现功耗平 衡,而当前GDDR进入功能/性能曲线的低效区,不断增长的内存功耗在未来会阻碍GPU性能提升。
需求端:HBM广泛应用于AI服务器,市场主流服务器匀已采用HBM方案
• HBM因其高带宽、低功耗、小体积等特性,广泛应用于AI服务器场景中。HBM的应用主要集中在高性能服务器 ,最早落地于2016年的NVP100GPU(HBM2)中,后于2017年应用在V100(HBM2)、于2020年应用在A100(HBM2 )、于2022年应用在H100(HBM2e/HBM3),最新一代HBM3e搭载于英伟达2023年发布的H200,为服务器提供更 快速度及更高容量。
需求端: AI服务器出货量增长催化HBM需求爆发,市场规模高速增长
• AI服务器出货量增长催化HBM需求爆发,经测算,HBM 2025年市场规模将超过150亿美元,增速超50%。全球服务器增虽长较为稳健,但随着大数据模型训练需求AI服务器出货量呈爆发式增长,2022年AI服务器出货量86万 台,渗透率不断提升,AI服务器在整体服务器占比10%左右,预计2026年AI服务器出货量将超过200万台,预计年复合增速29%。同时,主流AI服务器HBM容量需求从40GB向80GB、141GB升级,带动平均HBM容量提升。我们测 算,2025年HBM全球市场规模将达到150亿美元,同比增速68%。
供给端:三大存储原厂占据主要市场份额
• HBM供给厂商主要聚集在SK海力士、三星、美光三大厂,SK海力士领跑。三大存储原厂主要承担DRAMDie的生 产及堆叠,展开技术升级竞赛,其中SK海力士与AMD合作发布全球首款HBM,23年率先供应新一代HBM3E,先发 奠定市场地位,主要供应英伟达,三星供应其他云端厂商,根据TrendForce数据,2022年SK海力士市占率50% 、三星市占率40%、美光市占率10%左右,2023年SK海力士市占率预计为53%,三星市占率38%、美光市占率9%。
报告共计:26页