南韩存储大厂SK海力士宣布,将与台积电公司密切合作,联手生产下一代HBM——即预计在2026年投产的第六代HBM产品HBM4,双方并于近期签署合作备忘录(MOU)。
SK海力士以往的HBM产品,包括HBM3E(第五代HBM产品)都是基于公司自身制程制造的基础裸片,但从HBM4产品开始,将采用台积电的先进逻辑制程,这将使得HBM4的性能与功效更好,有助于海力士生产满足客户需求的客制化HBM产品。
与此同时,双方将协力优化SK海力士的HBM产品和台积电的CoWoS技术的整合,共同应对HBM相关客户的要求。
在AI浪潮下,HBM(高带宽存储器)成为当红炸子鸡,究竟什么是HBM?相较传统DRAM(动态随机存取存储器),又有什么不同?
HBM是什么?跟传统DRAM有什么不同?
简单来说,越强的AI处理器,需要越强的存储。
美光副总裁暨运算与网络事业部运算产品事业群总经瓦伊迪亚纳坦(Praveen Vaidyanathan)指出,芯片性能表现与存储的频宽和容量成正相关,随着大规模语言模型(LLM)参数量增加,也需要更高频宽内存,AI处理器才能顺利运行。
HBM相较传统DRAM为高频宽内存。高频宽就好比是高速公路,道路越宽可承受的车流量就越大,换句话说频宽越高,内存能运送的资料量就越大。《SemiAnalysis》指出,光GPT-4就含1.8兆个参数,像应用AI,就必须搭配像HBM这样容量更大、存取更快速的存储器,让参数可以轻易被传输与储存。
HBM是由大众所熟知的DRAM(动态随机存取存储器)堆迭,再透过3D IC先进封装而成。如同盖积木般,透过先进封装将DRAM做3D立体堆迭,加大频宽与储存空间,与一般DRAM之间并不存在取代关系,而是因为应用需求的不同,衍生出的技术。
HBM技术难在哪里?
技术听起来简单,然而却有不少须突破的技术障碍。瓦伊迪亚纳坦指出3项技术难点:
首先,是厚度。HBM厚度仅能为人类头发的一半,意味着每一层DRAM的厚度都必须控制,研磨必须相当精细。瓦伊迪亚纳坦指出:“一旦堆迭层数越多,DRAM就必须做的更薄。”在这样的状况下,企业必须拥有更先进的DRAM制程才可能达成。
其次,是晶圆堆迭的精准度。HBM的封装是将每一片DRAM晶圆迭齐后再做切割,切割下来的晶粒就是HBM。不过,制造商为让堆迭更薄,会在硅晶圆上穿孔并以金属物质填满,用以通电,藉此取代传统封装的导线架。这样的打洞技术则称为“硅穿孔(TSV, Through Silicon Via)。”
倘若是堆迭4层的HBM,从晶圆堆迭切割前开始,就必须精准对齐硅穿孔(TSV),“切的时候也不能移位,否则不能导电。”瓦伊迪亚纳坦说。由于硅穿孔仅略大于细菌尺寸,需要非常精细的工艺才能做到。
第三,就是堆迭后的散热问题。HBM之所以被发明,来自于芯片商希望能将存储器和处理器,包含CPU和GPU,全都包在一颗IC中。如此一来,存储器与处理器的距离变得比之前近很多,散热问题更需要被解决。综合三点来看,封装技术的重要性更甚以往。
HBM的应用有哪些?
由于技术难度高,成本也相对高昂。早在2013年HBM就已经诞生,当时超微(AMD)找SK海力士共同研发第一代HBM,却因价格太贵而鲜少被芯片业者采用,直至今日才因为AI应用而崛起。
芯片业者分析,虽然越先进的HBM价格越高,但只要效能够好、够省电,厂商当然愿重本采用,“不然黄仁勳(英伟达执行长)要怎么喊出‘买越多、省越多’的口号。”
那么,HBM市场在哪呢?目前来看,AI服务器会是HBM最重要的市场,美光以及海力士的HBM3e已通过英伟达的验证,市场更盛传英伟达已支付数亿美元的预付款以确保供应。瓦伊迪亚纳坦指出:“AI服务器所需要的存储体量,是传统服务器的5~6倍。”
除此之外,未来自驾车市场也是HBM重要的应用场景。Mordor Intelligence在10月出版的一份报告中表示,自驾车与ADAS(自动驾驶辅助系统)正在推升HBM的需求。从这个情况看来,AI服务器+车用的HBM市场需求,可能将长达10年。
HBM背后的厮杀战!
在这样的情况下,HBM也成为存储巨头的最新战场。集邦科技指出,作为先进者的海力士,在2022年拿下近全球近5成HBM市占夺冠,居次的三星占4成、美光占1成。
《BusinessKorea》报导,三星将在2024年积极扩产HBM以追上海力士脚步。而看似落后的美光,希望在HBM战局中,用技术吹响反攻号角。
如同台积电的3、5纳米制程,DRAM也有制程迭代,排序为1y、1z、1α、1β和1γ,其中1β是当前已量产的最先进DRAM,1γ则还未量产。若进一步比较,最新一代的HBM3e,三星采用的是1α制程,海力士与美光皆用1β制作,于技术上领先三星。投资银行分析师指出,美光是希望藉着HBM技术领先,抢攻市场龙头。
不过,HBM目前最大的挑战是“良率”。
日本微细加工研究所所长汤之上隆于1月的专栏指出,虽然HBM技术门槛较高,但其售价比DRAM高出10倍以上,商业诱因充足。因此,即便HBM的良率低于50%,仍是存储制造商无法轻易放弃的市场。
集邦科技则进一步指出,下一代的HBM预计将于2026年推出,堆迭层数也会自现有的12层增加至16层,2027年有机会问世,届时先进封装技术和良率角色将更为吃重。
全球存储市场长久以来三分天下,HBM受到重视后则开启全新战局,甚至可能扭转局势。在先进技术优先、成本其次考量的AI时代,存储器比起以往将扮演更重要的角色。