當前,英偉達的GPU終于確立了HBM技術的領先地位,整個行業(yè)正緊隨其后,加速HBM技術的發(fā)展。在AI硬件競爭的激烈角逐中,時間等同于生命,任何落后都可能導致被淘汰的命運。在HBM技術發(fā)展的道路上,一場無形的較量正在激烈進行,同時也標志著芯片市場競爭格局的重新塑造。
Rambus半導體IP產(chǎn)品管理總監(jiān)Nidish Kamath在接受至頂網(wǎng)獨家專訪時表示,由于AI、機器學習和高性能計算應用的普及,越來越需要HBM等高帶寬、低延遲的內(nèi)存解決方案。
如果不喜歡大起大落、驚心動魄,折磨得人夜不能寐的繁榮蕭條更迭周期,那請大家千萬不要涉足內(nèi)存業(yè)務。
一些 GPU 廠商(不是只有 NVIDIA 一家這么做)將將多個 DDR 芯片堆疊之后與 GPU 封裝到一起 (后文講到 H100 時有圖),這樣每片 GPU 和它自己的顯存交互時,就不用再去 PCIe 交換芯片繞一圈,速度最高可以提升一個量級。這種“高帶寬內(nèi)存”(High Bandwidth Memory)縮寫就是 HBM。
HBM技術通過提升I/O口數(shù)量和速率,突破內(nèi)存限制,成為AI芯片的強大輔助。HBM3和HBM3e將成為AI服務器主流配置,預計HBM4將于2026年發(fā)布。全球HBM市場預計在2024年超百億美元。HBM采用TSV+Bumping和TCB鍵合方式,但散熱效率低下,海力士引入MR-MUF工藝改善。預計HBM4將采用混合鍵合Hybrid Bonding技術,3D封裝的核心是混合鍵合與TSV。
智算中心的發(fā)展依托最新AI理論和計算架構,以AI大模型和算力技術為核心。GPU主導算力芯片市場,AI信創(chuàng)推動國產(chǎn)算力。AI分布式計算市場由算力芯片、內(nèi)存和互聯(lián)設備組成。ChatGPT推動GPU需求,SK海力士HBM3產(chǎn)量售罄。CoWoS封裝技術集成HBM與處理器,臺積電領先封裝市場。AI算力需求推動高效電源技術發(fā)展,背面供電技術成為關鍵。
HBM(高帶寬存儲)是一種多層DRAM Die垂直堆疊的存儲技術,通過TSV技術實現(xiàn)高帶寬和小體積。
隨著人工智能應用的增長,高帶寬內(nèi)存HBM需求激增,價格飆升。SK海力士和三星電子等存儲大廠正在擴產(chǎn)以滿足市場需求,同時也在開發(fā)下一代HBM技術。