循環(huán)神經(jīng)網(wǎng)絡(luò):又稱遞歸神經(jīng)網(wǎng)絡(luò)(RNN),是兩種人工神經(jīng)網(wǎng)絡(luò)的總稱。一種是時間遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network),另一種是結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network)。時間遞歸神經(jīng)網(wǎng)絡(luò)的神經(jīng)元間連接構(gòu)成有向圖,而結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)利用相似的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)遞歸構(gòu)造更為復(fù)雜的深度網(wǎng)絡(luò)。RNN一般指代時間遞歸神經(jīng)網(wǎng)絡(luò)。單純遞歸神經(jīng)網(wǎng)絡(luò)因?yàn)闊o法處理隨著遞歸,權(quán)重指數(shù)級爆炸或消失的問題(Vanishing gradient problem),難以捕捉長期時間關(guān)聯(lián);而結(jié)合不同的LSTM可以很好解決這個問題。時間遞歸神經(jīng)網(wǎng)絡(luò)可以描述動態(tài)時間行為,因?yàn)楹颓梆伾窠?jīng)網(wǎng)絡(luò)(feedforward neural network)接受較特定結(jié)構(gòu)的輸入不同,RNN將狀態(tài)在自身網(wǎng)絡(luò)中循環(huán)傳遞,因此可以接受更廣泛的時間序列結(jié)構(gòu)輸入。手寫識別是最早成功利用RNN的研究結(jié)果。