騰訊開源了基于Transformer架構(gòu)的Hunyuan-Large模型,擁有3890億參數(shù),優(yōu)于Meta的LLama3.1 - 405B模型。Hunyuan-Large采用MoE結(jié)構(gòu),高效訓(xùn)練和推理,支持長達(dá)256K上下文。使用了KV緩存壓縮技術(shù),減少內(nèi)存占用。訓(xùn)練數(shù)據(jù)包括7萬億token,包括高質(zhì)量合成數(shù)據(jù)。模型在CommonsenseQA、PIQA、WinoGrande等測試中表現(xiàn)優(yōu)異。
球申請生成式AI專利前10位分別是:騰訊、平安保險(xiǎn)、百度、中國科學(xué)院、IBM、阿里巴巴、三星電子、Alphabet(谷歌母公司)、字節(jié)跳動和微軟。(排名按照專利數(shù)量)
圖像自監(jiān)督預(yù)訓(xùn)練極大降低了圖像任務(wù)繁重的標(biāo)注工作,節(jié)省大量人力成本,而transformer技術(shù)在NLP領(lǐng)域的巨大成功也為CV模型效果進(jìn)一步提升提供了非常大的想象空間。