Sora的核心技術(shù)之一便是對Patch的應(yīng)用。它允許Sora在大量的圖像和視頻數(shù)據(jù)上進行密集訓(xùn)練。從每一個存在的視頻中剪出的Patch,可以被堆疊起來并輸入到模型中。
多模態(tài)大型語言模型(MLLMs)通過遵循一般的人類指令來解釋視覺內(nèi)容,已經(jīng)展示了令人印象深刻的視頻理解性能。然而,這些MLLMs在長視頻理解方面仍然存在困難,因為長視頻序列可能包含各種動態(tài)動作和復(fù)雜的時間關(guān)系,這使得MLLMs難以有效定位與問題相關(guān)的關(guān)鍵片段。