/
混合專家架構(gòu) 關(guān)鍵字列表
2024-03-18
600GB顯存才能拉起來(lái)的Grok-1不太驚艷！馬斯克大模型企業(yè)xAI開(kāi)源Grok-1，截止目前全球參數(shù)規(guī)模最大的MoE大模型！
馬斯克旗下大模型公司開(kāi)發(fā)的Grok-1大語(yǔ)言模型已開(kāi)源，采用Apache2.0協(xié)議。Grok-1是一個(gè)混合專家架構(gòu)模型，參數(shù)總數(shù)3140億，每次推理激活860億。雖然在MMLU和GSM8K評(píng)測(cè)中表現(xiàn)不錯(cuò)，但與同類(lèi)模型相比資源消耗大而收益不顯著。開(kāi)源的僅為推理代碼，訓(xùn)練基礎(chǔ)設(shè)施和tokenizer的特殊token作用未透露。
白皮書(shū)
- LinuxONE 客戶案例集錦
- IBM 存儲(chǔ)客戶案例集錦
- 智能超融合基礎(chǔ)設(shè)施 - HPE SimpliVity 解決方案
- 借助 HPE GreenLake 提供本地云體驗(yàn)解決方案
- 掌控全局 — 推動(dòng)業(yè)務(wù)創(chuàng)新：適用于 HPE SimpliVity 的 HPE 主動(dòng)式系統(tǒng)支持服務(wù)
- 實(shí)現(xiàn)居家辦公高效率解決方案
- 實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)革新 - HPE Primera解決方案
- 搭配N(xiāo)utanix的HPE GreenLake私有云解決方案
- 重新定義 HCI， 助其更上一層樓
- 適用于 VDI 的 HPE GreenLake - 本地云服務(wù)解決方案
數(shù)字化轉(zhuǎn)型方略
京公網(wǎng)安備 11010802021500號(hào)
