微軟研究人員開(kāi)源了純視覺(jué)GUI智能體OmniParser,能夠?qū)⒂脩艚缑娼貓D解析為結(jié)構(gòu)化元素,增強(qiáng)大語(yǔ)言模型如GPT-4V在理解和推理視覺(jué)內(nèi)容方面的能力。OmniParser通過(guò)圖標(biāo)檢測(cè)、圖標(biāo)描述和OCR模塊協(xié)同工作,生成用戶界面的結(jié)構(gòu)化表示,并提升模型在UI識(shí)別操作任務(wù)中的性能。在多個(gè)基準(zhǔn)測(cè)試中,與OmniParser集成的GPT-4V性能得到顯著提升。