4/25/2018 4:07:00 PM
神經(jīng)機器翻譯的技術(shù)——殘差網(wǎng)絡(luò)
今天樂文翻譯公司帶你了解下神經(jīng)機器翻譯的技術(shù)之一殘差網(wǎng)絡(luò)（Residual Network）。
所謂的殘差網(wǎng)絡(luò)就是一種跨層次的鏈接機制。如上圖所示，被灰粉色遮蔽的部分就是使用了殘差網(wǎng)絡(luò)機制的網(wǎng)絡(luò)鏈接。注意，原始網(wǎng)絡(luò)中，每一個跨層次的鏈接都僅僅鏈接上下兩個層次，但是在這里由x10到+號的鏈接就是這種跨層次的殘差網(wǎng)絡(luò)機制鏈接。
有了這樣一種跨層次鏈接的機制就使得網(wǎng)絡(luò)可以做得很深很深，從而實現(xiàn)了深度上的革命，而且可以讓準(zhǔn)確率得到非常顯著的降低。那么，殘差網(wǎng)絡(luò)是如何實現(xiàn)這種跨層次鏈接，同時又加速網(wǎng)絡(luò)學(xué)習(xí)的呢？讓我們看下圖：
我們知道，其實神經(jīng)網(wǎng)絡(luò)就是一個從輸入到輸出的函數(shù)。那么對于一個局部的兩層的網(wǎng)絡(luò)來說，它也可以被看作是一個小型的函數(shù)。我們不妨記這個小型的網(wǎng)絡(luò)是H(x)，它恰恰就是我們的兩層網(wǎng)絡(luò)要學(xué)習(xí)的函數(shù)。
我們不妨可以把這個函數(shù)分解為兩部分，一部分是直接從輸入端輸入進來的信號x，以及一部分剩余的量（殘差）F(x)，而這部分殘差F(x)就可以交給這兩層網(wǎng)絡(luò)來學(xué)習(xí)。這樣，當(dāng)我們的網(wǎng)絡(luò)逼近F(x)函數(shù)的時候，我只需要加上輸入信號x就可以自然得到我們想要的函數(shù)H(x)。
那么，我們?yōu)槭裁匆袶(x)拆成F(x)和x兩部分呢？答案就在于，當(dāng)我們直接把輸入信號x導(dǎo)入給輸出節(jié)點+的時候，我們實際上創(chuàng)造了一個信息傳輸?shù)慕輳?，這就可以大大節(jié)省訓(xùn)練這個局部小網(wǎng)絡(luò)的世界。當(dāng)然，這里面的前提是說，在大多數(shù)情況下，正確的H(x)函數(shù)是和x這個信號具有類似的數(shù)量級的。所以，我們創(chuàng)造了捷徑后，網(wǎng)絡(luò)只需要做微調(diào)，以學(xué)習(xí)實現(xiàn)一個殘差函數(shù)F(x)的神經(jīng)網(wǎng)絡(luò)就可以了。
有了這種殘差的機制，我們就可以讓信息更快地通過網(wǎng)絡(luò)，從而大大地節(jié)省了網(wǎng)絡(luò)訓(xùn)練的時間，這也就自然可以讓我們將網(wǎng)絡(luò)的層次加深，這就是殘差網(wǎng)絡(luò)的基本原理。
有了殘差機制，現(xiàn)在的網(wǎng)絡(luò)可以深到1000層之多。
樂文翻譯公司的平頂山翻譯分部也在不斷完善自己的技術(shù)，從語法、專業(yè)性上有了突飛猛進的提高，有翻譯服務(wù)相關(guān)的需求，可以隨時與我公司聯(lián)系，客服熱線：400-895-6679