微軟將大語(yǔ)言模型分為兩類(lèi),參數(shù)較小的規(guī)模被稱為小語(yǔ)言模型(Small Language Models, SLMs)。微軟認(rèn)為,使用高質(zhì)量的數(shù)據(jù)集訓(xùn)練小規(guī)模參數(shù)語(yǔ)言模型,以達(dá)成更高的推理能力是很重要的一個(gè)方向。為此,微軟發(fā)布了Phi系列的大語(yǔ)言模型。
微軟最新發(fā)布的Phi-3.5系列AI模型,標(biāo)志著小語(yǔ)言模型領(lǐng)域迎來(lái)又一波重大進(jìn)展。
與大模型相比,小型語(yǔ)言模型也許在商業(yè)用途上更有前景,也更具可持續(xù)性。