/
Hunyuan-Large 關(guān)鍵字列表
2024-11-06
騰訊放大招，超Meta！史上參數(shù)最大，開(kāi)源專家混合模型
騰訊開(kāi)源了基于Transformer架構(gòu)的Hunyuan-Large模型，擁有3890億參數(shù)，優(yōu)于Meta的LLama3.1 - 405B模型。Hunyuan-Large采用MoE結(jié)構(gòu)，高效訓(xùn)練和推理，支持長(zhǎng)達(dá)256K上下文。使用了KV緩存壓縮技術(shù)，減少內(nèi)存占用。訓(xùn)練數(shù)據(jù)包括7萬(wàn)億token，包括高質(zhì)量合成數(shù)據(jù)。模型在CommonsenseQA、PIQA、WinoGrande等測(cè)試中表現(xiàn)優(yōu)異。
白皮書(shū)
- LinuxONE 客戶案例集錦
- IBM 存儲(chǔ)客戶案例集錦
- 智能超融合基礎(chǔ)設(shè)施 - HPE SimpliVity 解決方案
- 借助 HPE GreenLake 提供本地云體驗(yàn)解決方案
- 掌控全局 — 推動(dòng)業(yè)務(wù)創(chuàng)新：適用于 HPE SimpliVity 的 HPE 主動(dòng)式系統(tǒng)支持服務(wù)
- 實(shí)現(xiàn)居家辦公高效率解決方案
- 實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)革新 - HPE Primera解決方案
- 搭配Nutanix的HPE GreenLake私有云解決方案
- 重新定義 HCI， 助其更上一層樓
- 適用于 VDI 的 HPE GreenLake - 本地云服務(wù)解決方案
數(shù)字化轉(zhuǎn)型方略
京公網(wǎng)安備 11010802021500號(hào)
