DeepMind 研究人員提出了一種名為 Streaming DiLoCo 的新方法,可以在分布式環(huán)境中高效訓(xùn)練大型 AI 模型。該方法通過優(yōu)化參數(shù)同步和通信策略,顯著降低了帶寬需求,同時(shí)保持了模型性能。這一突破有望推動(dòng) AI 開發(fā)的民主化,使更多機(jī)構(gòu)能夠參與大規(guī)模模型訓(xùn)練。
隨著生成式 AI 模型的爆炸性增長,單一數(shù)據(jù)中心已難以滿足其計(jì)算需求。未來,AI 的持續(xù)發(fā)展可能依賴于跨越國家甚至大洲的新型超級(jí)計(jì)算機(jī)。這種分布式架構(gòu)將現(xiàn)有數(shù)據(jù)中心連接起來,形成一個(gè)大型虛擬數(shù)據(jù)中心,以應(yīng)對(duì) AI 模型日益增長的計(jì)算和能源需求。
浙江東方金融控股集團(tuán)股份有限公司作為浙江省國有上市金控平臺(tái),緊跟政府?dāng)?shù)字化改革要求,統(tǒng)一戰(zhàn)略體系,聚焦提高企業(yè)風(fēng)險(xiǎn)管控能力,完善資本管理,強(qiáng)化數(shù)字建設(shè)。