目前,Transformer架構(gòu)的預(yù)訓(xùn)練大模型在存儲(chǔ)、查詢數(shù)據(jù)時(shí),隨著參數(shù)的變大對(duì)算力的需求呈指數(shù)級(jí)增長(zhǎng)!坝洃泴印碧岢隽诵碌母咝Р樵儥C(jī)制替代了傳統(tǒng)的查詢方法,通過(guò)比較查詢鍵與兩個(gè)較小集合中的鍵,可以快速找到最相關(guān)的鍵,而無(wú)需遍歷模型的整個(gè)記憶層。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號(hào)-7 京ICP證161336號(hào)京公網(wǎng)安備 11010802021500號(hào)
舉報(bào)電話:010-62641205-5060 涉未成年人舉報(bào)專線:010-62641208 舉報(bào)郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報(bào)專區(qū):https://www.12377.cn