目前,Transformer架構(gòu)的預(yù)訓(xùn)練大模型在存儲、查詢數(shù)據(jù)時,隨著參數(shù)的變大對算力的需求呈指數(shù)級增長。“記憶層”提出了新的高效查詢機(jī)制替代了傳統(tǒng)的查詢方法,通過比較查詢鍵與兩個較小集合中的鍵,可以快速找到最相關(guān)的鍵,而無需遍歷模型的整個記憶層。
EasyNLP是PAI算法團(tuán)隊基于PyTorch開發(fā)的易用且豐富的中文NLP算法框架,支持常用的中文預(yù)訓(xùn)練模型和大模型落地技術(shù),并且提供了從訓(xùn)練到部署的一站式NLP開發(fā)體驗。