微軟研究人員開源了純視覺GUI智能體OmniParser,能夠?qū)⒂脩艚缑娼貓D解析為結(jié)構(gòu)化元素,增強大語言模型如GPT-4V在理解和推理視覺內(nèi)容方面的能力。OmniParser通過圖標(biāo)檢測、圖標(biāo)描述和OCR模塊協(xié)同工作,生成用戶界面的結(jié)構(gòu)化表示,并提升模型在UI識別操作任務(wù)中的性能。在多個基準(zhǔn)測試中,與OmniParser集成的GPT-4V性能得到顯著提升。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號-7 京ICP證161336號京公網(wǎng)安備 11010802021500號
舉報電話:010-62641205-5060 涉未成年人舉報專線:010-62641208 舉報郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報專區(qū):https://www.12377.cn