作者：汤之上隆，编译：编辑部
自从2022年11月Open 宣布了以来，天生式AI（）在环球范围内敏捷遍及。这些天生式AI是在搭载了NVIDIA等AI的AI上运转的。
然而，依据TrendForce于客岁2023年12月14日宣布的展望，AI服务器的出货数目并没有如人们预期的那样增进。AI服务器在所有服务器出货数目中所占比例展望为：。
对于这个缘故原由，笔者在此前的文章中进行了以下阐发：
这个缘故原由能够归结为。今朝，约占AI半导体80％的NVIDIA GPU在举行先后工艺。后端工艺包孕了所谓的CoWoS，而这类CoWoS的产能成为了瓶颈。
另外，在CoWoS中，GPU四周堆叠了多块HBM（高带宽）DRAM，这类HBM也被认为是瓶颈之一。
那末，为何台积电的CoWoS（Chip on Wafer on Substrate）产能始终缺乏呢？另外，虽然DRAM制造商有三家，即三星、SK海力士和美光，为何HBM仍是缺乏呢？
本文将对这些细节举行接头，而且将论述为何NVIDIA等AI半导体欠缺将继续数年以上。
图 2 表现了 NVIDIA GPU 在台积电的创造体式格局。起首，在前端过程当中，GPU、、内存（DRAM）等是独自创造的。在这里，因为台积电不出产DRAM，是以它很可能从SK海力士等DRAM制造商那边取得HBM。
图2 2.5D-3D界面的旁边工序，如NVIDIA GPU 材料起源：Tadashi Kamewada，“下一代半导体封装和封装手艺趋向与市场预测”，科技研讨会，2024 年 2 月 6 日 幻灯片
接下来，将 GPU、CPU、HBM 等键合在“硅中介层”上，此中 12 英寸硅被切割成方形（晶圆上的，即 CoW）。 硅中介层预制有连贯芯片和硅通 （TSV） 的布线层。
这些工序被称为 "旁边工序"。笔者对此中缘故原由的说明是，旁边工序被归类为后端工序，但在硅插层上构成的布线层等是应用前端工序的创造设置装备摆设创造的。“旁边工序” 一词之所以被应用，大概便是由于这一旁边寄义。
旁边工序完成后，将中介层连接到（基板上的晶圆，即WoS），并举行种种测试以实现CoWoS封装。
图3表现了CoWoS的横截面布局。在构成布线层和 TSV 的硅中介层上，键合了两个逻辑芯片，比方 GPU 和 CPU，以及堆叠了 DRAM 的 HBM。中介层经由过程C4（受控塌片连贯）铜凸块与封装基板连贯，基板经由过程封装球与连贯。
图3 CoWoS布局与英伟达GPU等AI半导体的两大瓶颈 材料起源：WikiChip
在这里，咱们觉得第一个瓶颈是旁边工序中的硅中介层，第二个瓶颈是HBM。上面将说明其基础道理。
图 4 表现了自 2011 年以来 CoWoS 若何履历代际变迁。 起首，咱们能够看到硅中介层每一代都在变得越来越大，HBM 的搭载数目也在不息增添。
图 4 封装基板面积和HBM搭载数目不息增进 材料起源：K C Yee（TSMC），“Advanced 3D System Integration Technologies”，IEDM SC1,2020 年 12 月 13 日
图 5 表现了从 CoWoS Gen 1 到 Gen 6 的 12 英寸晶圆中装置的逻辑芯片范例、HBM 规范和装置数目、硅中介层面积以及可获得的中介层数目。
图 5 CoWoS 代次、HBM 装置数目、12 英寸晶圆中介层数目
起首，能够看出，自第三代以来，。 另外，HBM 的规范也发生了变迁，功能也得到了进步（稍后会细致先容）。 另外，跟着中介层面积的增添，能够从 12 英寸晶圆取得的中介层数目缩小。
然则，该数值只是"12英寸晶圆的面积除以中介层的面积的值"，实践失掉的数值会更少。
图 6 举例说了然这一点：2023 年宣布的第 6 代 CoWoS 中介层面积为 3400 平方毫米，如果是正方形，则为 58 毫米 x 58 毫米（58 毫米正方形）。假如将这个 58 毫米的正方形铺设在 12 英寸的晶圆上，晶圆边缘的所有中介层都将有缺点。是以，一个 12 英寸晶圆上至多只能取得。
图6 12英寸晶圆能取得多少个中介层
材料起源：Tadashi Kamewada，“下一代半导体封装和封装手艺趋向和市场预测”，迷信与手艺研讨会，2024年2月6日
另外，在中介层上构成布线层和TSV，但约为60-70%，是以从12英寸晶圆上能够取得的精良中介层数目
在 2023 年 11 月 14进行的 DIGITIMES 研讨会天生式 AI海潮中 2024环球服务器市场机缘挑衅”（Jim Hsiao）上，据估计，其产能将从 2023 年第二季度每个月 1.3 万至 1.5 万片晶圆翻番至 2024 年第二季度的
然而这类远景还很悠远。 这是由于，截至 2024 年 4 月，NVIDIA依然没有足够的 GPU。 而TrendForce征询在4月16日消息暗示，到2024年末，台积电的CoWoS产能将达到
为了完结这类“猫捉老鼠的游戏”，有人倡议应用515×510毫米的方形基板接替12英寸晶圆作为中介另外，英特尔公司发起应用矩形玻璃基板。当然假如能够应用大型矩形基板能够比圆形12英寸晶圆更有效地取得少量中介层。
然而，要在矩形基板构成布线层和TSV需求特地创造设置装备摆设和运输体系。考虑到这些预备事情耗时长本钱高、难度是以今朝看来“猫捉老鼠的游戏并无尽快解决的好办法当初说明一下HBM情形，这是另一个瓶颈。
如图 4 和图 5 所示，HBM数目跟着 CoWoS发生增添，这也致使了中介层面积的扩张。DRAM 制造商仅仅根据沟通规范创造 HBM不敷跟着 CoWoS进展，他们必需进步 HBM 各方面的功能。HBM 路线图如图 7 所示。
图 7：HBM 路线图和 HBM重叠的 DRAM数目
话题有些偏离，但DRAM制造商为了完成高度集成和高速化确凿需求举行1纳米级微细化是以，为了构成微细图案曾经开端使用（极紫外光）（见图9）。
图9 各DRAM制造商使用EUV的层数 起源：基于Yole Intelligence的数据创作最先开端在DRAM应用EUV手艺的是三星，他们在Gen 1z只应用了一层。然而，这只是三星的逻辑芯片厂为了举行EUV使用操演而借用的一个伟大的DRAM生产线，最大产量每个月1万块是以，
接下来领有HBM市场份额当先位置的SK海力士时代应用了一层EUV往年2024年，他们规划转向好像打算在3-4使用EUV是以，此前领有几台EUV的SK海力士计划在2024年引入EUV。值得一提因为三星另有逻辑芯片厂，他们大概领有的EUV最初，美光为了尽快推动手艺节点始终采用尽可能应用EUV计谋。实际上，他们在1β阶段应用EUV另外开辟阶段，原计划应用EUV，而是接纳ArF液浸+多重暴光手艺，但由于技术上的难度逐步增添，同时生产率晋升也变得艰苦是以预计开端引入EUV。
这三家DRAM制造商今朝应用规划应用的）EUV的镜头闭口数（NA）为0.33，但预计在2027年至2028年后期会思量转向High NA如许，DRAM制造商的微细化继续不息那末应用如许进步前辈工艺可以或许出产几何HBM呢？
在图10中表现了DRAM出货额、HBM出货额以及HBM占DRAM出货额比例。正如前文所述，ChatGPT于2022年11月宣布而且结果是，2023年NVIDIA的GPU胜利。
图10 DRAM出货额、HBM出货额、HBM比例起源：基于Yole Intelligence数据，作者制造
与此同时，HBM出货敏捷增进。2022年HBM出货额为27.5亿美圆（占3.4％），到了2023年增长了近两倍，达到54.5亿美圆（占10.7％），2024年更是急剧增长到140.6亿美圆（占19.4％）以上（括号内为HBM占DRAM出货额比例存眷DRAM出货能够看到在2021年因冠状病毒特需而达到巅峰，但到了2023年，特需完结后出货额大幅降低以后，出货逐步上升，预计到2025年跨越2021年的峰值。而在2026年后虽然会有些许动摇继续增进，预计到2029年跨越1500亿美圆另外一方面，预计HBM出货额将在2025年后连续增进，但HBM占DRAM出货额比例在2027年后将饱和在24-25％。这是为何呢？
图11种种HBM的出货量以及HBM的出货总量起源：基于Yole Intelligence数据，作者制造起首，到2022年为止首要出货的是HBM2。接着，在NVIDIA的GPU于2023年以后，HBM2E庖代HBM2成为配角而后，在2024年到2025年之间，HBM3将成支流。再者，到2026年到2027年之间，HBM3E的出货量至多，而2028年开端则由HBM4主导。
也就是说，HBM大致上。这意味着DRAM制造商不但需要在微细化方面以1纳米单元进步，还需要每两年更新一次HBM的规格是以，从图11能够显然看出，HBM的出货总量在2025年后简直没有增进并非DRAM制造商懒惰效果，而是由于他们需求尽力出产进步前辈的DRAM，同时还要创造进步前辈的HBM另外致使HBM出货总量在2025年后增进不大缘故原由之一是，堆叠在HBM内的DRAM芯片数目增加了（见图12跟着GPU功能晋升，HBM的内存容量（GB必需增添是以HBM内的DRAM重叠层数从HBM2和HBM2E的4至8层增加到HBM3和HBM3E的8至12层，最后到HBM4则为16层。
图12种种HBM的内存容量（GB）以及HBM内的DRAM芯片重叠层数 起源：基于Yole Intelligence数据，作者制造
也就是说，HBM2只需要4至8层DRAM，但到了HBM4需求2至4倍的16层DRAM是以，DRAM制造商在HBM4时期可能会出产2至4倍于HBM2时期的DRAM，但HBM的出货量可能会坚持沟通程度。
综上所述因为DRAM继续以1纳米单元举行微细化，HBM约莫每两年举行世代更替，以及HBM内的DRAM跟着世代增添，预计2025年后HBM的出货总量将达到饱和那末，HBM欠缺继续上来吗？DRAM制造商不克不及进一步增添HBM的出货量吗？
HBM价钱异常昂扬。
图13展示种种HBM惯例DRAM每GB均匀价钱比照图表。无论是惯例DRAM仍是HBM，它们宣布时的每GB价钱都是最高尽管趋向沟通惯例DRAM和HBM每GB价钱相差
图13种种HBM惯例DRAM每GB均匀价钱比照 起源：基于Yole Intelligence数据，作者制造间接比拟宣布价钱最高情形惯例DRAM每GB价钱为0.49美圆，而HBM2为其约23倍的11.4美圆，HBM2E为约28倍的13.6美圆，HBM4则为30倍的14.7美圆另外，图14展示种种HBM均匀价钱图表价钱最高的情况下，HBM2为73美圆，HBM2E为157美圆，HBM3为233美圆，HBM3E为372美圆，而HBM4则高达560美圆。
图14种种HBM惯例DRAM每GB均匀价钱比照 起源：基于Yole Intelligence数据，作者制造
图15表现了HBM价钱低廉比方，DRAM制造商在1z工艺出产的 1B的DRAM价钱最多为美圆。然而往年（2024年），SK 海力士宣布的HBM3E却高达其90至120倍的361美圆需求解释的是，DDR（Dou Data Rate）是内存规范的一种速率越来越快，DDR5比DDR4快2倍，DDR6比DDR5快2倍。2024年是从DDR4转向DDR5的一年，DRAM制造商需求不息更新DDR规范。
图15 种种半导体的工艺、芯片尺寸数目（位数均匀价钱比照
回到HBM，HBM3E应用TSMC进步前辈的3nm工艺出产，与最新款“iPhone 15”用的“A17 Bionic” AP简直沟通的芯片尺寸价钱高达其3.6倍。相比进步前辈的逻辑芯片，DRAM的HBM低廉使人震惊是以因为这类昂扬价钱，DRAM制造商尽力增添HBM的出货量牟取HBM的主导位置。
让我们来看看三家DRAM制造商的路线图。
图11种种HBM的出货量以及HBM的出货总量起源：基于Yole Intelligence数据，作者制造起首，到2022年为止首要出货的是HBM2。接着，在NVIDIA的GPU于2023年以后，HBM2E庖代HBM2成为配角而后，在2024年到2025年之间，HBM3将成支流。再者，到2026年到2027年之间，HBM3E的出货量至多，而2028年开端则由HBM4主导。
也就是说，HBM大致上。这意味着DRAM制造商不但需要在微细化方面以1纳米单元进步，还需要每两年更新一次HBM的规格是以，从图11能够显然看出，HBM的出货总量在2025年后简直没有增进并非DRAM制造商懒惰效果，而是由于他们需求尽力出产进步前辈的DRAM，同时还要创造进步前辈的HBM另外致使HBM出货总量在2025年后增进不大缘故原由之一是，堆叠在HBM内的DRAM芯片数目增加了（见图12跟着GPU功能晋升，HBM的内存容量（GB必需增添是以HBM内的DRAM重叠层数从HBM2和HBM2E的4至8层增加到HBM3和HBM3E的8至12层，最后到HBM4则为16层。
图12种种HBM的内存容量（GB）以及HBM内的DRAM芯片重叠层数 起源：基于Yole Intelligence数据，作者制造
也就是说，HBM2只需要4至8层DRAM，但到了HBM4需求2至4倍的16层DRAM是以，DRAM制造商在HBM4时期可能会出产2至4倍于HBM2时期的DRAM，但HBM的出货量可能会坚持沟通程度。
综上所述因为DRAM继续以1纳米单元举行微细化，HBM约莫每两年举行世代更替，以及HBM内的DRAM跟着世代增添，预计2025年后HBM的出货总量将达到饱和那末，HBM欠缺继续上来吗？DRAM制造商不克不及进一步增添HBM的出货量吗？
HBM价钱异常昂扬。
图13展示种种HBM惯例DRAM每GB均匀价钱比照图表。无论是惯例DRAM仍是HBM，它们宣布时的每GB价钱都是最高尽管趋向沟通惯例DRAM和HBM每GB价钱相差
图13种种HBM惯例DRAM每GB均匀价钱比照 起源：基于Yole Intelligence数据，作者制造间接比拟宣布价钱最高情形惯例DRAM每GB价钱为0.49美圆，而HBM2为其约23倍的11.4美圆，HBM2E为约28倍的13.6美圆，HBM4则为30倍的14.7美圆另外，图14展示种种HBM均匀价钱图表价钱最高的情况下，HBM2为73美圆，HBM2E为157美圆，HBM3为233美圆，HBM3E为372美圆，而HBM4则高达560美圆。
图14种种HBM惯例DRAM每GB均匀价钱比照 起源：基于Yole Intelligence数据，作者制造
图15表现了HBM价钱低廉比方，DRAM制造商在1z工艺出产的 1B的DRAM价钱最多为美圆。然而往年（2024年），SK 海力士宣布的HBM3E却高达其90至120倍的361美圆需求解释的是，DDR（Dou Data Rate）是内存规范的一种速率越来越快，DDR5比DDR4快2倍，DDR6比DDR5快2倍。2024年是从DDR4转向DDR5的一年，DRAM制造商需求不息更新DDR规范。
图15 种种半导体的工艺、芯片尺寸数目（位数均匀价钱比照
回到HBM，HBM3E应用TSMC进步前辈的3nm工艺出产，与最新款“iPhone 15”用的“A17 Bionic” AP简直沟通的芯片尺寸价钱高达其3.6倍。相比进步前辈的逻辑芯片，DRAM的HBM低廉使人震惊是以因为这类昂扬价钱，DRAM制造商尽力增添HBM的出货量牟取HBM的主导位置。
让我们来看看三家DRAM制造商的路线图。
图16展示了在2015年至2024年时期，三家DRAM制造商若何出产HBM的。图16 SK 海力士、Samsung、Micron的HBM路线图 起源：DIGITIMES Research, ”HBM Technology and capacity development”（2024年1月呈报中的图表
然而，在HBM2时期，三星比SK海力士更早完成了量产而后，在2023年NVIDIA的GPU胜利时，SK海力士凑巧其余公司更早完成了HBM3的量产。这使得SK 海力士获得了伟大好处效果，DRAM冠军三星落伍另外一方面，另一家DRAM制造商最后开辟的是与HBM分歧的HMC混杂内存立方体规范。然而，美国半导体标准化推动构造JEDEC联结工程委员会）正式认证了HBM而非HMC规范是以，美光从2018年开端废弃了HMC开辟，并在大幅落后于韩国两家制造商以后介入了HBM开辟依据2024年3月20日Bloomberg报导，HBM的市场中，。
市场份额排名第一的SK海力士于2023年在NAND工场M15开端出产HBM另外，他们计划在2024年上半年宣布HBM3E。而在2025年，他们规划今朝正在建设中的M15X工场革新公用的HBM工场，用于出产HBM3E和HBM4另外一方面但愿遇上SK海力士的三星于2023年开端在Samsung Display工场出产HBM，并计划在2024年将HBM产能扩充两倍，在2025年比SK海力士更早开端量产HBM4落伍的美光则跳过了HBM3，计划在2024至2025年经由过程HBM3E合作，并在2025年争夺取得20％的市场份额另外，在2027至2028年间，他们规划经由过程量产HBM4和HBM4E遇上当先的韩国两家制造商经由过程三家DRAM制造商猛烈合作大概突破HBM出货总量饱和状况，从而有望解决HBM欠缺题目。
本文说明环球范围内NVIDIA GPU等AI半导体欠缺缘故原由。这些缘故原由能够总结为如下两点：
1）。然而，CoWoS的产能完整缺乏缘故原由在于，GPU、CPU、HBM等芯片所搭载的硅中介跟着世代更新而变得越来越大。台积电正试图增添这类旁边工艺的产能，但随着GPU世代的更新，中介层也会变得更大大概致使始终处于状况。
2）。原因是，DRAM制造商不但需要以1nm的微细举行继续减少，还必须每两年更新一次HBM的规格，同时跟着世代变迁，HBM中的DRAM芯片增添。DRAM制造商正在尽力出产HBM，但据预测，到2025年后HBM的供应将达到饱和。然而因为HBM价钱极高，DRAM制造商睁开猛烈合作，这可能有助于解决HBM欠缺题目是以致使NVIDIA的GPU欠缺的瓶颈题目包孕旁边工艺产能缺乏和HBM欠缺这两点，但这些题目短时间内很难解决是以，预计NVIDIA的GPU欠缺继续数年以至更长时候？）。