大模型時代,底層邏輯發(fā)生了很大的變化。系統(tǒng)的成本幾乎和客戶使用量成線性關(guān)系,邊際成本依然很高。這里的成本絕大部分都是推理的算力消耗。
這個模型一般的GPU肯定是跑不起來,如此大的參數(shù)在部署方面?zhèn)人開發(fā)者也負擔不起(如果你有一些H100也沒問題),估計是給企業(yè)、政務(wù)公共部門用的。對于Meta即將發(fā)布的模型,就有網(wǎng)友潑冷水。相比OpenAI最新的GPT-4o mini版本,Llama 3.1-70B推理成本提升了3倍,但編碼的性能卻要差很多。
Numina一路披荊斬棘、過關(guān)斬將,在50道超難的數(shù)學(xué)競賽題中,其AI模型回答對了29道比第二名多出7道順利拿下第一名。