當(dāng)前,英偉達(dá)的GPU終于確立了HBM技術(shù)的領(lǐng)先地位,整個(gè)行業(yè)正緊隨其后,加速HBM技術(shù)的發(fā)展。在AI硬件競爭的激烈角逐中,時(shí)間等同于生命,任何落后都可能導(dǎo)致被淘汰的命運(yùn)。在HBM技術(shù)發(fā)展的道路上,一場無形的較量正在激烈進(jìn)行,同時(shí)也標(biāo)志著芯片市場競爭格局的重新塑造。
Rambus半導(dǎo)體IP產(chǎn)品管理總監(jiān)Nidish Kamath在接受至頂網(wǎng)獨(dú)家專訪時(shí)表示,由于AI、機(jī)器學(xué)習(xí)和高性能計(jì)算應(yīng)用的普及,越來越需要HBM等高帶寬、低延遲的內(nèi)存解決方案。
如果不喜歡大起大落、驚心動(dòng)魄,折磨得人夜不能寐的繁榮蕭條更迭周期,那請(qǐng)大家千萬不要涉足內(nèi)存業(yè)務(wù)。
一些 GPU 廠商(不是只有 NVIDIA 一家這么做)將將多個(gè) DDR 芯片堆疊之后與 GPU 封裝到一起 (后文講到 H100 時(shí)有圖),這樣每片 GPU 和它自己的顯存交互時(shí),就不用再去 PCIe 交換芯片繞一圈,速度最高可以提升一個(gè)量級(jí)。這種“高帶寬內(nèi)存”(High Bandwidth Memory)縮寫就是 HBM。
HBM技術(shù)通過提升I/O口數(shù)量和速率,突破內(nèi)存限制,成為AI芯片的強(qiáng)大輔助。HBM3和HBM3e將成為AI服務(wù)器主流配置,預(yù)計(jì)HBM4將于2026年發(fā)布。全球HBM市場預(yù)計(jì)在2024年超百億美元。HBM采用TSV+Bumping和TCB鍵合方式,但散熱效率低下,海力士引入MR-MUF工藝改善。預(yù)計(jì)HBM4將采用混合鍵合Hybrid Bonding技術(shù),3D封裝的核心是混合鍵合與TSV。
智算中心的發(fā)展依托最新AI理論和計(jì)算架構(gòu),以AI大模型和算力技術(shù)為核心。GPU主導(dǎo)算力芯片市場,AI信創(chuàng)推動(dòng)國產(chǎn)算力。AI分布式計(jì)算市場由算力芯片、內(nèi)存和互聯(lián)設(shè)備組成。ChatGPT推動(dòng)GPU需求,SK海力士HBM3產(chǎn)量售罄。CoWoS封裝技術(shù)集成HBM與處理器,臺(tái)積電領(lǐng)先封裝市場。AI算力需求推動(dòng)高效電源技術(shù)發(fā)展,背面供電技術(shù)成為關(guān)鍵。
美光 HBM3E 比競品功耗低 30%,助力數(shù)據(jù)中心降低運(yùn)營成本
HBM(高帶寬存儲(chǔ))是一種多層DRAM Die垂直堆疊的存儲(chǔ)技術(shù),通過TSV技術(shù)實(shí)現(xiàn)高帶寬和小體積。
隨著人工智能應(yīng)用的增長,高帶寬內(nèi)存HBM需求激增,價(jià)格飆升。SK海力士和三星電子等存儲(chǔ)大廠正在擴(kuò)產(chǎn)以滿足市場需求,同時(shí)也在開發(fā)下一代HBM技術(shù)。