通常而言,RAG 賦予了語(yǔ)言模型獲取和處理外部信息的能力,使其不再被限制在固有的知識(shí)范疇內(nèi)。通過(guò)將語(yǔ)言模型與信息檢索系統(tǒng)結(jié)合,RAG 允許模型動(dòng)態(tài)地從互聯(lián)網(wǎng)、知識(shí)庫(kù)或其他外部來(lái)源檢索相關(guān)內(nèi)容,并將這些內(nèi)容融合到生成的響應(yīng)中。這一機(jī)制確保了生成的答復(fù)不僅貼近真實(shí)世界,內(nèi)容更加翔實(shí)可信,從而顯著提升了語(yǔ)言模型在處理復(fù)雜問(wèn)題時(shí)的表現(xiàn)。
隨著技術(shù)的不斷進(jìn)步,LLM 帶來(lái)了前所未有的機(jī)遇,吸引了開發(fā)者和組織紛紛嘗試?yán)闷鋸?qiáng)大的能力構(gòu)建應(yīng)用程序。然而,當(dāng)預(yù)訓(xùn)練的 LLM 在實(shí)際應(yīng)用中無(wú)法達(dá)到預(yù)期的性能水平時(shí),人們將不由自主地開始思考:我們到底應(yīng)該使用哪種技術(shù)來(lái)改善這些模型在特定場(chǎng)景下的表現(xiàn)?
北京大學(xué)崔斌教授領(lǐng)導(dǎo)的數(shù)據(jù)與智能實(shí)驗(yàn)室發(fā)布了關(guān)于檢索增強(qiáng)生成(RAG)技術(shù)的綜述,涵蓋近300篇相關(guān)論文。RAG技術(shù)結(jié)合檢索與生成,用于問(wèn)答、對(duì)話生成等AI任務(wù),展現(xiàn)出卓越潛力。