DeepMind 研究人員提出了一種名為 Streaming DiLoCo 的新方法,可以在分布式環(huán)境中高效訓(xùn)練大型 AI 模型。該方法通過(guò)優(yōu)化參數(shù)同步和通信策略,顯著降低了帶寬需求,同時(shí)保持了模型性能。這一突破有望推動(dòng) AI 開(kāi)發(fā)的民主化,使更多機(jī)構(gòu)能夠參與大規(guī)模模型訓(xùn)練。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號(hào)-7 京ICP證161336號(hào)京公網(wǎng)安備 11010802021500號(hào)
舉報(bào)電話:010-62641205-5060 涉未成年人舉報(bào)專線:010-62641208 舉報(bào)郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報(bào)專區(qū):https://www.12377.cn