騰訊開源了基于Transformer架構的Hunyuan-Large模型,擁有3890億參數(shù),優(yōu)于Meta的LLama3.1 - 405B模型。Hunyuan-Large采用MoE結構,高效訓練和推理,支持長達256K上下文。使用了KV緩存壓縮技術,減少內(nèi)存占用。訓練數(shù)據(jù)包括7萬億token,包括高質(zhì)量合成數(shù)據(jù)。模型在CommonsenseQA、PIQA、WinoGrande等測試中表現(xiàn)優(yōu)異。
北京第二十六維信息技術有限公司(至頂網(wǎng))版權所有. 京ICP備15039648號-7 京ICP證161336號京公網(wǎng)安備 11010802021500號
舉報電話:010-62641205-5060 涉未成年人舉報專線:010-62641208 舉報郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報專區(qū):https://www.12377.cn