记者 | 邓晓娟
8月25日,内存IP厂商Rambus推出HBM3内存接口子系统。内含完全集成的PHY和数字控制器,传输速率达8.4Gbps;可为AI/ML和高性能计算(HPC)等应用和解决方案提供1TB/s的带宽速率;采用标准的16通道设置,可达到1024位宽接口,实现更高的颗粒度,相比当前高端HBM2E内存子系统高出两倍以上;同时,Rambus的HBM3还支持2、4、8、12和16 HBM3 DRAM堆栈,信道密度达32Gb。
一、在数据传输速率、带宽、密度上都有独特优势,不仅仅是更小的尺寸
随着AI/ML领域里越来越多的厂商不断发力,内存产品设计的复杂性也快速上升,对带宽也提出了更高的要求,神经网络、AI训练等在内存带宽需求上面临着越来越高的挑战。
同时,AI/ML训练对于内存带宽的需求是无止境的,一些前沿训练模型现已拥有数以十亿的参数。这无疑是对内存IP行业的一个大挑战。
回顾HBM的性能演进历程,最早的HBM1数据传输速率大概能达到1Gbps左右,而在2016年时,HBM2带来最高的数据传输速率可达到2Gbps;到了2018年,HBM2E时代的最高传输速率已经可以达到3.6Gbps了,而后逐渐上升到3.6Hbps。
HBM性能演进
Rambus IP核产品营销高级总监Frank Ferro表示,HBM3也会与之前的HBM产品一样,会经历一个发力的过程。HBM3目前拥有的8.4Gbps的传输速率,在持续发力后也会在传输速率上有更大的提升。并且Rambus选择8.4Gbps的速率也是出于未来产品规划的一些考量,可以为客户提供更高的设计裕度,为未来的产品开发做好后续准备。
二、Rambus HBM3内存子系统主要架构及技术优势
据Frank介绍,在HBM3-Ready内存子系统产品架构上,顶层设置了4块DRAM内存条,通过TSV堆叠的方式叠加在一起,下方是SoC,再往下是中介层,在中阶层下面是绿色的封装。这些部分组成了整个2.5D的系统架构。
2.5D/3D系统架构的HBM3内存
而作为一个完整的内存子系统产品,仅仅提供IP是不够的。所以Rambus在提供IP的同时也提供泛IP和整个系统的具体设计,包括经过验证的PHY及数字控制器。
除此之外,2.5D系统架构的HBM内存目前在市面上还是比较新的,优先使用这些新技术的客户需要更多的支持,所以Rambus在中介层和封装上也会提供更好的参考设计支持和框架。提供Rambus系统和SI/PI专家技术支持,为ASIC设计人员提供帮助,确保设备和系统具有最优的信号和电源完整性。这些都是整个内存子系统领域非常重要的环节。
对于AI/ML、HPC等领域的客户而言,他们对TB级带宽有着非常强的需求。Frank表示,Rambus本次推出的HBM3-Ready内存子系统可以满足其在TB级带宽领域加速的性能标准;完全继承的HBM3内存接口子系统IP解决方案包括了经过优化的PHY和控制器,为客户提供中介层和封装的物理参考设计,简化设计流程,从而帮助客户加快产品上市时间。
三、发力HBM3的原因
如今,HBM3的整体发展进度是比行业预期要更晚一些的,不少业内人士认为,内存颗粒和接口IP是限制HBM3技术突破的主要原因。对此,Frank认为,DRAM与HBM的发展是相辅相成、共同促进的。对比之下,其实从DDR4到DDR5过渡的时间很长,但HBM技术迭代的速度非常快,也印证了HBM领域整体发展的迅速。
这背后对应的主要逻辑是:HBM的发展很大程度上是由不断上升的带宽需求驱动的,而对带宽的需求几乎没有上限。换句话说,目前来看HBM的发展可能不会遇到障碍。无论是HBM2高达4Gbps的数据传输速率,还是前一段时间海力士发布的5.2Gbps数据传输速率的HBM3产品,其实都证实了大家对HBM领域的看好,这也是Rambus对HBM抱有高期望的几大原因之一。
同时,尽管目前HBM3的速率已经可以达到8.4Gbps,但对比GDDR DRAM已经达到16或者18Gbps的速率而言还是有差距的。简单来说,HBM发展的限制目前集中在中介层上。在HBM2的时代,中介层本身的技术是有限制的,即一代和二代的中介层最高只能做到两层,它涉及的线宽、金属层的厚度都是非常有限的。随着中介层技术的发展,其本身的厚度、金属层和线宽都有了一定的增加,这也进一步推动了HBM未来的发展。
总地来说,HBM现在依旧处于相对早期的阶段,所以未来还有很长一段路要走。
Frank还表示,Rambus发力HBM3也有着主要的差异化优势:
- 拥有全系列由集成和优化后的PHY和存储器控制器组成的内存子系统
- 当前业界最高的数据传输速率(8.4 Gbps)和带宽
- 系统级设计支持,包括中介层和封装参考设计
以及拥有着丰富的HBM生产经验:
- 自2017年以来,Rambus一直致力于生产和提供HBM解决方案
- 市场份额排名第一的HBM IP供应商,赢得超过50个设计订单
另外,Rambus大中华区总经理苏雷也表示,从行业背景上我们可以窥见,数据中心的快速增长正驱动着技术的需求和发展。在大数据时代下,数据量持续激增,年复合增长达到35%,各种数据开始加速向云迁移,带来了云服务的蓬勃发展,并最终驱动了数据中心的持续增长。另外物联网设备的数量也日益增加,开启了万物互联的时代,越来越多的数据开始运行在外部,从而让业内对数据安全的担忧日益增加。最后,在大数据的处理方面,AI/ML的使用率也将日益提升,预计到2025年,全球数据使用量将达到175ZB,并且有超过25%的服务器出货将会专供与人工智能领域。