探討如何提高人工智能系統(tǒng)在復(fù)雜任務(wù)中的透明度和可信度方面,紐約大學(xué)數(shù)據(jù)科學(xué)中心的研究人員提出了一種創(chuàng)新方法,通過自我博弈、訓(xùn)練語言模型進(jìn)行辯論,以提高裁判的判斷準(zhǔn)確性。
最近X(也就是以前的推特)和馬斯克,就被這玩意,推上了風(fēng)口浪尖。原因是,X被發(fā)現(xiàn)“光明正大”的拿用戶的帖子來訓(xùn)練Grok AI。就是馬斯克自己搞的那個(gè)大模型。
目前,AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn),呈現(xiàn)為上中下三層架構(gòu):①第一層為上游基礎(chǔ)層,也就是由預(yù)訓(xùn)練模型為基礎(chǔ)搭建的AIGC技術(shù)基礎(chǔ)設(shè)施層。②第二層為中間層,即垂直化、場(chǎng)景化、個(gè)性化的模型和應(yīng)用工具。③第三層為應(yīng)用層,即面向C端用戶的文字、圖片、音視頻等內(nèi)容生成服務(wù)。
我們實(shí)測(cè)了Unsloth所帶來的訓(xùn)練增益,對(duì)Llama3-8B進(jìn)行QLoRA訓(xùn)練,最少僅需7.75GB顯存,這意味著我們可以在一張1080Ti上訓(xùn)練Llama3-8B,進(jìn)一步降低了大模型訓(xùn)練的硬件門檻。開啟Unsloth后,Llama3-8B的訓(xùn)練速度可提升44.35%,訓(xùn)練時(shí)間可減少30.72%,顯存占用可減少42.58%。更詳細(xì)的測(cè)試設(shè)置可參考第三節(jié)。
最近進(jìn)展使大型視覺語言模型 (Large Language Models for Vision,vLLMs) 能夠生成詳細(xì)的感知輸出,包 括邊界框和掩碼。然而,限制這些 vLLMs 進(jìn)一步應(yīng) 用的兩個(gè)約束是:每個(gè)查詢無法處理多個(gè)目標(biāo),以及 無法識(shí)別圖像中查詢對(duì)象不存在。
在人工智能領(lǐng)域,大模型因其在理解和生成自然語言方面的卓越能力而備受關(guān)注。通過捕捉和再現(xiàn)人類語言的復(fù)雜性和微妙性,為使用者提供了與機(jī)器進(jìn)行自然對(duì)話的可能性。
弱智吧的數(shù)據(jù)真的這么厲害嗎?持著好奇和懷疑的態(tài)度,我們仔細(xì)閱讀了這篇論文,「弱智吧的數(shù)據(jù)碾壓其他數(shù)據(jù)」這個(gè)結(jié)論有待深入討論和探索。我們提出以下幾個(gè)疑問: