基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯( Neural Machine Translation )興起于2013年,其技術(shù)核心是一個擁有海量結(jié)點(diǎn)(神經(jīng)元)的深度神經(jīng)網(wǎng)絡(luò),可以自動的從語料庫中學(xué)習(xí)翻譯知識。一種語言的句子被向量化之后,在網(wǎng)絡(luò)中層層傳遞,轉(zhuǎn)化為計算機(jī)可以“理解”的表示形式,再經(jīng)過多層復(fù)雜的傳導(dǎo)運(yùn)算,生成另一種語言的譯文。實(shí)現(xiàn)了 “理解語言,生成譯文”的翻譯方式。這種翻譯方法最大的優(yōu)勢在于譯文流暢,更加符合語法規(guī)范,容易理解。相比之前的翻譯技術(shù),質(zhì)量有“躍進(jìn)式”的提升。
目前,廣泛應(yīng)用于機(jī)器翻譯的是長短時記憶(LSTM,Long Short-Term Memory)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,Recurrent Neural Network)。該模型擅長對自然語言建模,把任意長度的句子轉(zhuǎn)化為特定維度的浮點(diǎn)數(shù)向量,同時“記住”句子中比較重要的單詞,讓“記憶”保存比較長的時間。該模型很好地解決了自然語言句子向量化的難題,對利用計算機(jī)來處理自然語言來說具有非常重要的意義,使得計算機(jī)對語言的處理不再停留在簡單的字面匹配層面,而是進(jìn)一步深入到語義理解的層面。
代表性的研究機(jī)構(gòu)和公司包括,加拿大蒙特利爾大學(xué)的機(jī)器學(xué)習(xí)實(shí)驗室,發(fā)布了開源的基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯系統(tǒng)GroundHog。2015年,百度發(fā)布了融合統(tǒng)計和深度學(xué)習(xí)方法的在線翻譯系統(tǒng),Google也在此方面開展了深入研究。