AI算力专题:AI服务器催化HBM需求爆发,核心工艺变化带来供给端增量

今天分享的是AI算力系列深度研究报告:《AI算力专题:AI服务器催化HBM需求爆发,核心工艺变化带来供给端增量》。

(报告出品方:太平洋证券)

报告共计:26

HBM即高带宽存储器,应用场景集中在服务器GPU显存

• HBM(HighBandwidthMemory)即高带宽存储器,用于GPU与CPU之间的高速数据传输,主要应用场景集中在数 据中心高性能服务器的GPU显存,小部分应用于CPU内存芯片。HBM同样为3D结构,由多层DRAMdie垂直堆叠,每 层die通过TSV(Through Silicon Via)穿透硅通孔+μbumps技术实现与逻辑die连接,再通过中阶层与 GPU/CPU/SoC连接,使得4层、8层、12层等数量die封装于小体积空间中。

HBM经多次处理速度迭代,现至HBM3的扩展版本HBM3E

• HBM经多次处理速度迭代,现至HBM3的扩展版本HBM3E,助力服务器推理性能提升。 HBM1最早于2014年由AMD与SK海力士共同推出,作为GDDR竞品,为4层die堆叠,提供 128GB/s带宽,4GB内存,显著优于同期GDDR5。HBM2于2016年发布,2018年正式推出 ,为4层DRAMdie,现在多为8层die,提供256GB/s带宽,2.4Gbps传输速度,和8GB内 存;HBM2E于2018年发布,于2020年正式提出,在传输速度和内存等方面均有较大提 升,提供3.6Gbps传输速度,和16GB内存。HBM3于2020年发布,2022年正式推出,堆 叠层数及管理通道数均有增加,提供6.4Gbps传输速度,传输速度最高可达819GB/s, 和16GB内存HBM3E由SK海力士发布HBM3的增强版,提供高达8Gbps的传输速度,24GB容 量,计划于2024年大规模量产。

HBM助力AI服务器向更高带宽、容量升级

• 目前主流显卡使用的显存为GDDR5,但在应用中仍存在痛点:

1)消耗大量PCB面积:GPU核心周围分布12/16颗 GDDR5芯片,而GDDR芯片尺寸无法继续缩小,占据更大空间,同时也需要更大的电压调节模块,

2)GDDR5的功 耗提升达到了对GPU性能提升产生负面影响的拐点:由于平台和设备需要在逻辑芯片与DRAM之间的实现功耗平 衡,而当前GDDR进入功能/性能曲线的低效区,不断增长的内存功耗在未来会阻碍GPU性能提升。

需求端:HBM广泛应用于AI服务器,市场主流服务器匀已采用HBM方案

• HBM因其高带宽、低功耗、小体积等特性,广泛应用于AI服务器场景中。HBM的应用主要集中在高性能服务器 ,最早落地于2016年的NVP100GPU(HBM2)中,后于2017年应用在V100(HBM2)、于2020年应用在A100(HBM2 )、于2022年应用在H100(HBM2e/HBM3),最新一代HBM3e搭载于英伟达2023年发布的H200,为服务器提供更 快速度及更高容量。

需求端: AI服务器出货量增长催化HBM需求爆发,市场规模高速增长

• AI服务器出货量增长催化HBM需求爆发,经测算,HBM 2025年市场规模将超过150亿美元,增速超50%。全球服务器增虽长较为稳健,但随着大数据模型训练需求AI服务器出货量呈爆发式增长,2022年AI服务器出货量86万 台,渗透率不断提升,AI服务器在整体服务器占比10%左右,预计2026年AI服务器出货量将超过200万台,预计年复合增速29%。同时,主流AI服务器HBM容量需求从40GB向80GB、141GB升级,带动平均HBM容量提升。我们测 算,2025年HBM全球市场规模将达到150亿美元,同比增速68%。

供给端:三大存储原厂占据主要市场份额

• HBM供给厂商主要聚集在SK海力士、三星、美光三大厂,SK海力士领跑。三大存储原厂主要承担DRAMDie的生 产及堆叠,展开技术升级竞赛,其中SK海力士与AMD合作发布全球首款HBM,23年率先供应新一代HBM3E,先发 奠定市场地位,主要供应英伟达,三星供应其他云端厂商,根据TrendForce数据,2022年SK海力士市占率50% 、三星市占率40%、美光市占率10%左右,2023年SK海力士市占率预计为53%,三星市占率38%、美光市占率9%。

报告共计:26

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/660760.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

18- OpenCV:基于距离变换与分水岭的图像分割

目录 1、图像分割的含义 2、常见的图像分割方法 3、距离变换与分水岭介绍 4、相关API 5、代码演示 1、图像分割的含义 图像分割是指将一幅图像划分为若干个具有独立语义的区域或对象的过程。其目标是通过对图像进行像素级别的分类,将图像中不同的区域或对象分离…

C++类和对象——运算符重载详解

目录 1.运算符重载概念 2.加号运算符重载 通过全局函数重载 代码示例: 3.左移运算符重载 代码示例: 4.递增运算符重载 代码示例: 5.赋值运算符重载 深拷贝 代码示例: 6.关系运算符重载 代码示例: 7.函…

MSVC++远程调试

1. 介绍 MSVC的调试功能非常强大,可以下断点,单步调试,查看堆栈变量信息等。实际用于生产的电脑环境复杂,更容易发生Bug。生产电脑,由于各种原因有些可能无法安装MSVC用来现场调试。基于打印日志,查看日志…

【MATLAB】PSO_BiLSTM神经网络回归预测算法

有意向获取代码,请转文末观看代码获取方式~也可转原文链接获取~ 1 基本定义 PSO_BiLSTM神经网络回归预测算法是一种结合了粒子群优化(Particle Swarm Optimization,PSO)和双向长短期记忆网络(Bidirectional Long Shor…

JAVASE进阶:String常量池内存原理分析、字符串输入源码分析

👨‍🎓作者简介:一位大四、研0学生,正在努力准备大四暑假的实习 🌌上期文章:JAVASE进阶:内存原理剖析(1)——数组、方法、对象、this关键字的内存原理 📚订阅…

CoroNa Green acetoxymethyl (AM) ester,具有良好的细胞膜穿透能力

CoroNa Green, AM, Cell Permeant,CoroNa Green acetoxymethyl (AM) ester,CoroNa Green, AM,Sodium indicator 钠离子指示剂(荧光探针),具有良好的细胞膜穿透能力,能够检测到细胞内钠离子的微小…

带大家详细了解msvcr120.dll丢失的原因,msvcr120.dll丢失怎样修复的方法

在使用电脑和运行应用程序时,我们经常会遇到与动态链接库(Dynamic Link Library, DLL)文件相关的错误。其中之一是 "msvcr120.dll 丢失" 的错误提示。今天我们就来详细的了解一下msvcr120.dll这个文件和分享msvcr120.dll丢失怎样修…

【目标检测】对DETR的简单理解

【目标检测】对DETR的简单理解 文章目录 【目标检测】对DETR的简单理解1. Abs2. Intro3. Method3.1 模型结构3.2 Loss 4. Exp5. Discussion5.1 二分匹配5.2 注意力机制5.3 方法存在的问题 6. Conclusion参考 1. Abs 两句话概括: 第一个真正意义上的端到端检测器最…

stm32--simulink开发之--timer的学习,硬件输入中断,触发事件,STM32通用定时器之输出比较模式与PWM模式(重要理解)

下面三个模块,一个比一个高级,当然使用是越来越简单 STM32F4xx系列控制器有2个高级控制定时器、10个通用定时器和2个基本定时器(推荐学习) 1,第一个模块:Timer Starts timer counter and provides current counter value Timer …

vivado 与系统设计师接口

与系统设计师接口 作为迭代I/O和时钟规划过程的一部分,您可以交换有关AMD设备通过导出CSV文件和IBIS模型,与PCB或系统设计者进行引脚连接。根据PCB或设计规范的变化,您可能需要将引脚重新导入为如定义和配置I/O端口中所述。完成I/O和时钟中的…

uniapp H5 px转换rpx

uniapp H5 px转换rpx 安装 px2rpx 重启 HBuilderX在要转换的文件 点击右键 点击 开启px2rpx(1px转成2rpx) 开启成功!使用 编辑页面后 按下键盘 Ctrl s 保存!转化成功!当然 你也需要对使用的插件 进行转换!否则可能导致样式出现…

排序之计数排序

꒰˃͈꒵˂͈꒱ write in front ꒰˃͈꒵˂͈꒱ ʕ̯•͡˔•̯᷅ʔ大家好,我是xiaoxie.希望你看完之后,有不足之处请多多谅解,让我们一起共同进步૮₍❀ᴗ͈ . ᴗ͈ აxiaoxieʕ̯•͡˔•̯᷅ʔ—CSDN博客 本文由xiaoxieʕ̯•͡˔•̯᷅ʔ 原创 CSDN …

简述MinewSemi的GNSS模块引领体育与健康科技革新

体育与健康科技领域的创新一直在推动人们更健康、更活跃的生活方式。创新微公司的GNSS模块正成为这一变革的关键推动力。本文将深入研究MinewSemi的GNSS模块在体育和健康追踪领域的创新应用,探讨其如何帮助个体更全面地了解和改善自己的身体状态。 1. 个性化运动轨迹…

爬什么值得买的榜单——爬虫练习题目一(问)

爬虫题目你敢试试吗? 引言具体原因网站思路总体 我让AI给个框架1. **项目初始化与依赖安装**2. **定义数据模型**3. **网络请求模块**4. **页面解析模块**5. **数据存储模块**6. **主程序流程** 结尾 引言 最近在做什么呢 建立一套完整的信息输入输出系统 在我上一…

Vue之状态管理的简单使用(事件总线(Event Bus),Vuex和若依前端示例)

文章目录 Vue之状态管理的简单使用(事件总线(Event Bus),Vuex和若依前端示例)Vue之事件总线(Event Bus)的简单使用Vuex进行状态管理的简单使用若依前端代码store状态管理: Vue之状态…

云原生时代下,操作系统生态的挑战与机遇

在云计算快速发展的背景下,服务器操作系统的产业升级,不再局限于物理服务器层面,市场边界扩张,人工智能、大数据、云计算等新技术的发展也对操作系统的灵活度和智能化提出新的要求。在 2023 龙蜥操作系统大会上,龙蜥社…

pytorch学习笔记(十二)

以下代码是以CIFAR10这个10分类的图片数据集训练过程的完整的代码。 训练部分 train.py主要包含以下几个部件: 准备训练、测试数据集用DateLoader加载两个数据集,要设置好batchsize创建网络模型(具体模型在model.py中)设置损失函…

深入了解C++:底层编译原理

进程的虚拟空间划分 任何编程语言,都会产生两样东西,指令和数据。 .exe程序运行的时候会从磁盘被加载到内存中,但是不能直接加载到物理内存中。Linux会给当前进程分配一块空间,比如x86 32位linux环境下会给进程分配2^32(4G)大小…

vue3页面跳转产生白屏,刷新后能正常展示的解决方案

可以依次检查以下问题: 1.是否在根组件标签最外层包含了个最大的div盒子包裹内容。 2.看看是否在template标签下面直接有注释,如果有需要把注释写到div里面。(即根标签下不要直接有注释) 3.在router-view 中给路由添加key标识。 …

(附源码)ssm 招聘信息管理系统-计算机毕设 78049

ssm 招聘客户管理系统 摘 要 由于数据库和数据仓库技术的快速发展,招聘客户管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。招聘客户系统对处理对象和服务对象,自身的系统结构,处理能力,都将适应技术发展的…