Kioxia 發(fā)布開源 AiSAQ 技術(shù),旨在降低生成式 AI 系統(tǒng)中的 DRAM 需求。該技術(shù)為 SSD 優(yōu)化的近似最近鄰搜索算法,可直接在 SSD 上搜索,無需將索引數(shù)據(jù)放入 DRAM,從而實(shí)現(xiàn)檢索增強(qiáng)生成 (RAG) 的可擴(kuò)展性能。這一創(chuàng)新有望大幅提升大規(guī)模 RAG 應(yīng)用的性能范圍。
微軟研究人員提出了一種新的內(nèi)存技術(shù)——管理保留內(nèi)存 (MRM),旨在解決 AI 基礎(chǔ)模型工作負(fù)載的存儲(chǔ)和 IO 問題。MRM 具有短期數(shù)據(jù)持久性,可優(yōu)化 AI 推理性能,同時(shí)降低能耗和成本。這一創(chuàng)新概念有望填補(bǔ)現(xiàn)有內(nèi)存-存儲(chǔ)層級中的空白,為 AI 時(shí)代的內(nèi)存技術(shù)發(fā)展開辟新方向。