HBM 4，再起風云

首先，人工智能數(shù)據(jù)中心所需的HBM（高帶寬內(nèi)存）和大容量eSSD（企業(yè)級SSD）等高附加值尖端內(nèi)存產(chǎn)品的需求預計明年將保持強勁。該產(chǎn)品也是三星電子、SK海力士等國內(nèi)企業(yè)主導的市場；另一方面，通用內(nèi)存（尤其是傳統(tǒng)產(chǎn)品）的供過于求現(xiàn)象正在惡化。這些產(chǎn)品的價格在今年第四季度已經(jīng)開始下降。IT需求依然低迷，后來者的激進業(yè)務擴張正在成為迫在眉睫的危機因素。

在此形勢下，HBM會是重要突破口，這正是三大巨頭加緊在這方面投入的原因之一。主要是因為該技術(shù)有望帶來尖端的性能和效率數(shù)據(jù)，這也是提升 AI 計算能力的門戶。圍繞著這項技術(shù)的競爭也開始白熱化。

三星電子準備在明年下半年量產(chǎn)HBM4（第六代HBM）。HBM4 是 HBM3E（第五代）的后繼產(chǎn)品，是目前商業(yè)化的最新一代 HBM。它計劃安裝在英偉達的下一代人工智能加速器“Rubin”系列中。

三星電子的 HBM4 基于 1c DRAM，即 10 納米級第六代 DRAM?？紤]到競爭對手SK海力士和美光在HBM4中使用1b DRAM，即第五代DRAM，領(lǐng)先一代。為了確保在下一代 HBM 市場中的競爭力，戰(zhàn)略是快速提高性能。

為此，三星電子將于今年年底開始在平澤市P4投資建設(shè)1c DRAM量產(chǎn)線。具體設(shè)備供貨已與相關(guān)合作伙伴商談，預計最快明年年中完成線路建設(shè)。

與此同時，三星電子正在通過修改HBM3E（第5代HBM）的部分電路來重新向NVIDIA供貨。與此同時，三星電子一直在與NVIDIA一起對HBM3E 8層和12層進行質(zhì)量測試，但由于性能等問題一直未能量產(chǎn)。

SK 海力士繼續(xù)研發(fā)，目標是在今年第四季度實現(xiàn) HBM4 的“流片”。流片是指在實驗室完成芯片設(shè)計并將圖紙發(fā)送到制造過程。這是產(chǎn)品進入量產(chǎn)階段的主要工序。

SK Hynix 將 1b DRAM 應用于 HBM4，就像 HBM3E 一樣。這是一個注重產(chǎn)品穩(wěn)定性和良率的選擇。因此，業(yè)界認為SK海力士將能夠比競爭對手更順利地開發(fā)HBM4。

目前，SK海力士的1b DRAM投資主要集中在利川M16晶圓廠。據(jù)悉，通過將現(xiàn)有的傳統(tǒng)DRAM生產(chǎn)線轉(zhuǎn)換為1b DRAM，到明年產(chǎn)能將增加至每月最多14萬至15萬片。

在韓國雙雄大舉進攻之際，美光也不甘人后。據(jù)報道，美光科技最近提供了其下一代 HBM4 和 HBM4E 工藝的更新，并透露預計將于 2026 年開始大規(guī)模生產(chǎn)。

美光表示，憑借強大的基礎(chǔ)和對成熟的 1β 工藝技術(shù)的持續(xù)投資，美光方面認為公司的 HBM4 將保持上市時間和能效領(lǐng)先地位，同時性能比 HBM3E 提高 50% 以上。美光預計 HBM4 將在 2026 年實現(xiàn)行業(yè)大批量生產(chǎn)。

“HBM4E 的開發(fā)工作正在與多家客戶一起順利進行，HBM4E 將緊隨 HBM4 的步伐。HBM4E 將為內(nèi)存業(yè)務帶來一次范式轉(zhuǎn)變，它整合了使用臺積電先進的邏輯代工制造工藝為某些客戶定制邏輯基片的選項。我們預計這種定制功能將推動美光的財務業(yè)績改善。”美光方面強調(diào)。

對于那些不知道的人來說，HBM4 在許多方面都是革命性的，但這里有一個有趣的點需要注意，即業(yè)界計劃將內(nèi)存和邏輯半導體集成到一個封裝中。這意味著將不再需要封裝技術(shù)，而且考慮到單個芯片將更接近這種實現(xiàn)，它將被證明具有更高的性能效率。這就是為什么美光提到他們將使用臺積電作為其“邏輯半導體”供應商，類似于 SK 海力士所采用的供應商。

在分析會上，美光還提到了 HBM4E 工藝的存在，成為除 SK 海力士之外唯一一家率先披露該技術(shù)發(fā)展情況的公司。雖然我們目前不確定美光 HBM4 系列的規(guī)格，但該公司確實透露，HBM4 預計將堆疊多達 16 個 DRAM 芯片，每個芯片的容量為 32 GB，并配備 2048 位寬的接口，這使得該技術(shù)遠遠優(yōu)于上一代產(chǎn)品。

美光也表示，HBM4E 產(chǎn)品的開發(fā)工作正在與多家客戶一起順利進行，因此我們可以預期不同的客戶將采用具有不同配置的基礎(chǔ)芯片。這標志著朝著定制內(nèi)存解決方案邁出了一步，這些解決方案適用于帶寬需求大的 AI、HPC、網(wǎng)絡和其他應用。

據(jù)透露，HBM4 預計還將與 AMD 的 Instinct MI400 Instinct 系列一起出現(xiàn)在 NVIDIA 的 Rubin AI 架構(gòu)中，因此該工藝將獲得廣泛的市場認可。目前 HBM 需求處于頂峰，而美光自己也透露，到 2025 年，生產(chǎn)線已被預訂，因此未來將更加光明。

在過去，HBM主要由英偉達這些廠商消耗。但ZDnet認為，以NVIDIA為首的HBM（高帶寬內(nèi)存）市場明年將經(jīng)歷一場變革。這是全球大型科技公司一直在開發(fā)自己的人工智能半導體并積極增加尖端 HBM 的影響。

業(yè)內(nèi)人士也表示，從明年初開始，谷歌、Meta、亞馬遜網(wǎng)絡服務（AWS）等全球大型科技公司對HBM的需求預計將增加。

這一趨勢在美光19日發(fā)布的2025財年第一季度（2024年9月至2024年11月）業(yè)績公告中也能得到證實。美光僅提到 Nvidia 作為其現(xiàn)有的 HBM 供應商，但宣布通過此次業(yè)績公告獲得了更多客戶。

美光解釋說，“我們本月開始向第二大客戶供應 HBM”，“我們計劃在明年第一季度開始向第三大客戶批量生產(chǎn)供應，以擴大我們的客戶群。” 明年的HBM市場規(guī)模也從原來的250億美元提高到300億美元。

一位半導體行業(yè)官員表示，“我們正在分析美光提到的第二個和第三個客戶是谷歌和亞馬遜。”他補充道，“據(jù)我了解，這些公司在增加自己的 AI 芯片時正在積極訂購 HBM3E（第五代 HBM）。”從今年年底開始發(fā)貨。”他解釋道。

例如，谷歌在其自主研發(fā)的第六代TPU（張量處理單元）“Trillium”上安裝了HBM3E。據(jù)了解，AWS 將在其內(nèi)部開發(fā)的用于 AI 學習的“Trainium2”芯片組中使用 HBM3 和 HBM3E。這兩款芯片均于今年年底發(fā)布。

一位半導體行業(yè)的高級官員表示，“臺積電的CoWoS客戶比例發(fā)生了變化。之前Nvidia是第一，AMD是第二，但AWS最近上升到了第二位。”

CoWoS 是由臺灣主要代工廠臺積電 (TSMC) 開發(fā)的 2.5D 封裝。2.5D封裝是 一種在芯片和基板之間插入稱為中介層的薄膜的技術(shù)，是生產(chǎn)基于HBM的AI加速器的基本要素之一。

Broadcom最近還加大了在AI和HBM相關(guān)市場的占有率。博通是一家大型無晶圓廠公司，按收入排名全球第三。除了通信半導體和數(shù)據(jù)中心網(wǎng)絡業(yè)務外，該公司還從事為特定客戶量身定制服務器基礎(chǔ)設(shè)施的業(yè)務。

Broadcom 正在基于自身的半導體設(shè)計能力為Google和Meta提供AI半導體設(shè)計支持。因此，今年上半年，我們一直在與三星電子、SK海力士、美光等主要DRAM制造商進行HBM3E 8層的質(zhì)量測試。目前，據(jù)了解，SK海力士和美光已成功進入該市場。

接下來，我們看一下Broadcom和Marvell這些領(lǐng)先巨頭對HBM的應用和看法。

過去的報道中，我們多次提及了HBM將進入定制時代。

毫無疑問，HBM4 憑借其 2048 位內(nèi)存接口令人印象深刻。然而，HBM4E 將更加令人印象深刻，它可以為某些客戶提供定制的基礎(chǔ)芯片，從而提供具有潛在附加功能的更優(yōu)化的解決方案。

這正好吸引了Broadcom和Marvell對HBM提出了新的解決方案。

首先看博通方面，本月初，博通推出了 3.5D eXtreme Dimension 系統(tǒng)級封裝 ( 3.5D XDSiP ) 平臺，用于 AI 和 HPC 工作負載的超高性能處理器。新平臺依賴于臺積電的 CoWoS 和其他先進的封裝技術(shù)。它使芯片設(shè)計人員能夠構(gòu)建 3D 堆疊邏輯、網(wǎng)絡和 I/O 芯片以及 HBM 內(nèi)存堆棧的系統(tǒng)級封裝 (SiP)。該平臺允許使用高達 6000mm2的 3D 堆疊硅片和 12 個 HBM 模塊的 SiP。首批 3.5D XDSiP 產(chǎn)品將于 2026 年上市。

博通表示，Broadcom 的 3.5D XDSiP 已面世，為定制計算的新時代提供動力。該創(chuàng)新平臺的主要優(yōu)勢包括：

1、增強的互連密度- 與 F2B 技術(shù)相比，堆疊芯片之間的信號密度提高了 7 倍。

2、卓越的功率效率- 通過利用 3D HCB 代替平面晶粒到晶粒 PHY，將晶粒到晶粒接口的功耗降低 10 倍。

3、減少延遲- 最大限度地減少 3D 堆棧內(nèi)計算、內(nèi)存和 I/O 組件之間的延遲。

4、緊湊的外形尺寸- 可實現(xiàn)更小的中介層和封裝尺寸，從而節(jié)省成本并改善封裝翹曲。

據(jù) TheElec 日前報道，韓國內(nèi)存芯片巨頭 SK 海力士已贏得向博通供應高帶寬內(nèi)存（HBM）的大訂單。消息人士稱，這家美國芯片巨頭將從 SK 海力士采購內(nèi)存芯片，以安裝在一家大型科技公司的人工智能計算芯片上。

再看Marvell，他們也提供了定制 HBM 計算架構(gòu)，適用于定制超大規(guī)模 XPU。

眾所周知，HBM 內(nèi)存犧牲了容量和可擴展性，換取了更高的帶寬。一般來說，HBM 部署在 CPU 和加速器或 XPU 旁邊的方式是，它通過連接兩塊硅片的硅中介層上的標準線路進行連接。XPU 通常有兩個或更多 HBM 堆棧，由 DRAM 堆棧和基片組成。

超大規(guī)模計算廠商與 Marvell 和主要的 HBM 廠商正在定義一種新的定制接口，該接口占用的計算芯片空間更少。這使得 Marvell 及其客戶能夠在 XPU 旁邊放置更多 HBM，從而增加每個芯片的內(nèi)存帶寬和容量。它還可以降低使用定制內(nèi)存的芯片的功率要求。

當然，挑戰(zhàn)在于 HBM 的標準互連版本占用了芯片上更多的海岸線空間。通過減少連接 HBM 和 XPU 所需的物理空間，這些空間可用于其他 I/O 或更多 HBM。Marvell 表示，這可以提高 I/O 性能，同時將接口功耗降低 70%。

這也意味著定制 HBM 解決方案不是 JEDEC 解決方案?；蛘邠Q句話說，cHBM（定制 HBM）不會是標準的現(xiàn)成 HBM。）HBM4 使用超過 2000 個引腳，是 HBM3 的兩倍。通過使用定制互連，無需所有這些引腳。它還釋放了芯片區(qū)域以添加定制邏輯，如壓縮和安全功能。

Marvell也表示，預計每平方毫米面積的吞吐量將增加約 4 倍。它還展示了未來帶寬將比現(xiàn)在高出 10 倍的前景。