研究人員在著名開源文生圖像模型FLUX進行了實驗。結(jié)果顯示,成功將FLUX的模型量化到1.58位權重,僅用{-1, 0, +1}三種值就能表示而不是更高精度的浮點數(shù)。
勒昆提出了一個名為“目標驅(qū)動AI”的架構,這種架構通過優(yōu)化過程來模擬人類理解和與世界互動的方式,從而克服現(xiàn)有AI系統(tǒng)的局限性。這一架構的核心理念是將目標和優(yōu)化結(jié)合起來,讓AI系統(tǒng)能夠主動尋找最佳的動作序列以實現(xiàn)特定目標,從而模擬人類的認知過程,尤其是在規(guī)劃和推理方面的能力。
著名的教育家約翰·杜威這樣定義思維:“以一種觀察到的事物為依據(jù),去推測或判斷出其他的事物,然后將作為依據(jù)的事物當做后者推測數(shù)的事物的機遇或者基礎,從而產(chǎn)生信念!
目前,多數(shù)大模型的性能受限于其預訓練階段所獲取的數(shù)據(jù)集,以及推理過程中的算力資源。研究人員發(fā)現(xiàn),可以通過更多的推理時間、自適應(就是草莓的特殊延遲推理)來提升模型的性能,這種技術稱為——測試時計算(Test-time computation)。
目前,AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn),呈現(xiàn)為上中下三層架構:①第一層為上游基礎層,也就是由預訓練模型為基礎搭建的AIGC技術基礎設施層。②第二層為中間層,即垂直化、場景化、個性化的模型和應用工具。③第三層為應用層,即面向C端用戶的文字、圖片、音視頻等內(nèi)容生成服務。