在高性能GPU計算的領(lǐng)域內(nèi),關(guān)鍵組件如CPU、內(nèi)存模塊、NVMe存儲設(shè)備、GPU以及網(wǎng)絡(luò)適配器等通過PCIe(外設(shè)部件互連標(biāo)準(zhǔn))總線或?qū)iT設(shè)計的PCIe交換機(jī)芯片實(shí)現(xiàn)高效順暢的連接。
長期以來,人工智能與超級計算似乎是兩個獨(dú)立的領(lǐng)域。然而,隨著大模型訓(xùn)練對算力需求的指數(shù)級增長,二者之間的界限逐漸模糊。并行科技董事長陳健一針見血地指出:“AI訓(xùn)練的本質(zhì)就是超算,超算也并不僅僅是CPU的超級計算機(jī)。超算架構(gòu)、以GPU為核心的算力平臺成為大模型訓(xùn)練的必備基礎(chǔ)設(shè)施!
Meta宣布了兩個新的24K H100 GPU集群,用于訓(xùn)練大模型Llama-3,預(yù)計4月末或5月中旬上線。集群使用RoCEv2網(wǎng)絡(luò)和基于Tectonic/Hammerspace的存儲解決方案,支持PyTorch。
浪潮信息以全球領(lǐng)先的AI模型“源”為智能引擎,依托InService智能服務(wù)平臺,構(gòu)建了“智能客服大腦”,具備超強(qiáng)的語言理解、數(shù)據(jù)分析、自主學(xué)習(xí)和智能推理能力。