/
國產開源之光：DeepSeek-V3劃重點
DeepSeek-V3 采用了 671B 參數(shù) MoE 架構，配備約 37B 激活單元，訓練使用14.8T Token數(shù)據(jù)。
通過博弈來訓練辯論模型，提高了裁判模型準確性，也為AI自我監(jiān)督提供了新思路
探討如何提高人工智能系統(tǒng)在復雜任務中的透明度和可信度方面，紐約大學數(shù)據(jù)科學中心的研究人員提出了一種創(chuàng)新方法，通過自我博弈、訓練語言模型進行辯論，以提高裁判的判斷準確性。
現(xiàn)在的AI公司們，已經在把用戶當"數(shù)據(jù)提款機"了。
最近X（也就是以前的推特）和馬斯克，就被這玩意，推上了風口浪尖。原因是，X被發(fā)現(xiàn)“光明正大”的拿用戶的帖子來訓練Grok AI。就是馬斯克自己搞的那個大模型。
AI算力產業(yè)鏈及競爭格局分析
目前，AIGC產業(yè)生態(tài)體系的雛形已現(xiàn)，呈現(xiàn)為上中下三層架構：①第一層為上游基礎層，也就是由預訓練模型為基礎搭建的AIGC技術基礎設施層。②第二層為中間層，即垂直化、場景化、個性化的模型和應用工具。③第三層為應用層，即面向C端用戶的文字、圖片、音視頻等內容生成服務。
Unsloth微調Llama3-8B，提速44.35%，節(jié)省42.58%顯存，最少僅需7.75GB顯存
我們實測了Unsloth所帶來的訓練增益，對Llama3-8B進行QLoRA訓練，最少僅需7.75GB顯存，這意味著我們可以在一張1080Ti上訓練Llama3-8B，進一步降低了大模型訓練的硬件門檻。開啟Unsloth后，Llama3-8B的訓練速度可提升44.35%，訓練時間可減少30.72%，顯存占用可減少42.58%。更詳細的測試設置可參考第三節(jié)。
SAM+多模態(tài)大模型實現(xiàn)開集分割！清華聯(lián)合美團提出LaSagnA！
最近進展使大型視覺語言模型 (Large Language Models for Vision，vLLMs) 能夠生成詳細的感知輸出，包 括邊界框和掩碼。然而，限制這些 vLLMs 進一步應 用的兩個約束是：每個查詢無法處理多個目標，以及 無法識別圖像中查詢對象不存在。
省心更要省錢，MIT親自下場，拒絕“參數(shù)內耗”
在人工智能領域，大模型因其在理解和生成自然語言方面的卓越能力而備受關注。通過捕捉和再現(xiàn)人類語言的復雜性和微妙性，為使用者提供了與機器進行自然對話的可能性。
關于弱智吧數(shù)據(jù)封神的若干疑問和猜想，以及數(shù)據(jù)驗證實驗
弱智吧的數(shù)據(jù)真的這么厲害嗎？持著好奇和懷疑的態(tài)度，我們仔細閱讀了這篇論文，「弱智吧的數(shù)據(jù)碾壓其他數(shù)據(jù)」這個結論有待深入討論和探索。我們提出以下幾個疑問：
京公網安備 11010802021500號
