人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)）是一種受人腦的生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而設(shè)計(jì)的計(jì)算模型。人工神經(jīng)網(wǎng)絡(luò)非常擅長(zhǎng)從輸入的數(shù)據(jù)和標(biāo)簽中學(xué)習(xí)到映射關(guān)系，從而完成預(yù)測(cè)或者解決分類(lèi)問(wèn)題。人工神經(jīng)網(wǎng)絡(luò)也被稱(chēng)為通用擬合器，這是因?yàn)樗梢詳M合任意的函數(shù)或映射。 前饋神經(jīng)網(wǎng)絡(luò)是我們最常用的一種網(wǎng)絡(luò)，它一般包括3層人工神經(jīng)單元，即輸入層、隱含層和輸出層，如圖3.3所示。其中，隱含層可以包含多層，這就構(gòu)成了所謂的深度神經(jīng)網(wǎng)絡(luò)。 圖中的每一個(gè)圓圈代表一個(gè)人工神經(jīng)元，連線代表人工突觸，它將兩個(gè)神經(jīng)元聯(lián)系了起來(lái)。每條連邊上都包含一個(gè)數(shù)值，叫作權(quán)重，我們通常用w來(lái)表示。 神經(jīng)網(wǎng)絡(luò)的運(yùn)行通常包含前饋的預(yù)測(cè)過(guò)程（或稱(chēng)為決策過(guò)程）和反饋的學(xué)習(xí)過(guò)程。 在前饋的預(yù)測(cè)過(guò)程中，信號(hào)從輸入單元輸入，并沿著網(wǎng)絡(luò)連邊傳輸，每個(gè)信號(hào)會(huì)與連邊上的權(quán)重進(jìn)行乘積，從而得到隱含層單元的輸入；接下來(lái)，隱含層單元對(duì)所有連邊輸入的信號(hào)進(jìn)行匯總（求和），然后經(jīng)過(guò)一定的處理（具體處理過(guò)程將在下節(jié)講述）進(jìn)行輸出；這些輸出的信號(hào)再乘以從隱含層到輸出的那組連線上的權(quán)重，從而得到輸入給輸出單元的信號(hào)；最后，輸出單元再對(duì)每一條輸入連邊的信號(hào)進(jìn)行匯總，并進(jìn)行加工處理再輸出。最后的輸出就是整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練階段將會(huì)調(diào)節(jié)每條連邊上的權(quán)重w數(shù)值。 在反饋的學(xué)習(xí)過(guò)程中，每個(gè)輸出神經(jīng)元會(huì)首先計(jì)算出它的預(yù)測(cè)誤差，然后將這個(gè)誤差沿著網(wǎng)絡(luò)的所有連邊進(jìn)行反向傳播，得到每個(gè)隱含層節(jié)點(diǎn)的誤差。最后，根據(jù)每條連邊所連通的兩個(gè)節(jié)點(diǎn)的誤差計(jì)算連邊上的權(quán)重更新量，從而完成網(wǎng)絡(luò)的學(xué)習(xí)與調(diào)整。 下面，我們就從人工神經(jīng)元開(kāi)始詳細(xì)講述神經(jīng)網(wǎng)絡(luò)的工作過(guò)程。 人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，由人工神經(jīng)元（簡(jiǎn)稱(chēng)神經(jīng)元）構(gòu)成。神經(jīng)元用簡(jiǎn)單的數(shù)學(xué)模型來(lái)模擬生物神經(jīng)細(xì)胞的信號(hào)傳遞與激活。為了理解人工神經(jīng)網(wǎng)絡(luò)的運(yùn)作原理，我們先來(lái)看一個(gè)最簡(jiǎn)單的情形：?jiǎn)紊窠?jīng)元模型。如圖3.4所示，它只有一個(gè)輸入層單元、一個(gè)隱含層單元和一個(gè)輸出層單元。 x表示輸入的數(shù)據(jù)，y表示輸出的數(shù)據(jù)，它們都是實(shí)數(shù)。從輸入單元到隱含層的權(quán)重w、隱含層單元偏置b、隱含層到輸出層的權(quán)重w'都是可以任意取值的實(shí)數(shù)。 我們可以將這個(gè)最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)看成一個(gè)從x映射到y(tǒng)的函數(shù)，而w、b和w'是該函數(shù)的參數(shù)。該函數(shù)的方程如圖3.5中的方程式所示，其中σ表示sigmoid函數(shù)。當(dāng)w=1，w'=1，b=0的時(shí)候，這個(gè)函數(shù)的圖形如圖3.5所示。 這就是sigmoid函數(shù)的形狀及σ(x)的數(shù)學(xué)表達(dá)式。通過(guò)觀察該曲線，我們不難發(fā)現(xiàn)，當(dāng)x小于0的時(shí)候，σ(x)都是小于1/2的，而且x越小，σ(x)越接近于0；當(dāng)x大于0的時(shí)候，σ(x)都是大于1/2的，而且x越大，σ(x)越接近于1。在x=0的點(diǎn)附近存在著一個(gè)從0到1的突變。 當(dāng)我們變換w、b和w'這些參數(shù)的時(shí)候，函數(shù)的圖形也會(huì)發(fā)生相應(yīng)的改變。例如，我們不妨保持 w'=1， b=0不變，而變換w的大小，其函數(shù)圖形的變化如圖3.6所示。 由此可見(jiàn)，當(dāng)w>0的時(shí)候，它的大小控制著函數(shù)的彎曲程度，w越大，它在0點(diǎn)附近的彎曲程度就會(huì)越大，因此從x=0的突變也就越劇烈；當(dāng)w<0的時(shí)候，曲線發(fā)生了左右翻轉(zhuǎn)，它會(huì)從1突變到0。 再來(lái)看看參數(shù)b對(duì)曲線的影響，保持w=w'=1不變，如圖3.7所示。 可以清晰地看到，b控制著sigmoid函數(shù)曲線的水平位置。b>0，函數(shù)圖形往左平移；反之往右平移。最后，讓我們看看w'如何影響該曲線，如圖3.8所示。 不難看出，當(dāng)w' > 0的時(shí)候，w'控制著曲線的高矮；當(dāng)w' < 0的時(shí)候，曲線的方向發(fā)生上下顛倒。 可見(jiàn)，通過(guò)控制w、w'和b這3個(gè)參數(shù)，我們可以任意調(diào)節(jié)從輸入x到輸出y的函數(shù)形狀。但是，無(wú)論如何調(diào)節(jié)，這條曲線永遠(yuǎn)都是S形（包括倒S形）的。要想得到更加復(fù)雜的函數(shù)圖像，我們需要引入更多的神經(jīng)元。 兩個(gè)隱含層神經(jīng)元下面我們把模型做得更復(fù)雜一些，看看兩個(gè)隱含層神經(jīng)元會(huì)對(duì)曲線有什么影響，如圖3.9所示。 輸入信號(hào)進(jìn)入網(wǎng)絡(luò)之后就會(huì)兵分兩路，一路從左側(cè)進(jìn)入第一個(gè)神經(jīng)元，另一路從右側(cè)進(jìn)入第二個(gè)神經(jīng)元。這兩個(gè)神經(jīng)元分別完成計(jì)算，并通過(guò)w'1和w'2進(jìn)行加權(quán)求和得到y(tǒng)。所以，輸出y實(shí)際上就是兩個(gè)神經(jīng)元的疊加。這個(gè)網(wǎng)絡(luò)仍然是一個(gè)將x映射到y(tǒng)的函數(shù)，函數(shù)方程為： 在這個(gè)公式中，有w1, w2, w'1, w'2, b1, b2這樣6個(gè)不同的參數(shù)。它們的組合也會(huì)對(duì)曲線的形狀有影響。 例如，我們可以取w1=w2=w'1=w'2=1，b1=-1，b2=0，則該函數(shù)的曲線形狀如圖3.10所示。 由此可見(jiàn)，合成的函數(shù)圖形變?yōu)榱艘粋€(gè)具有兩個(gè)階梯的曲線。 讓我們?cè)賮?lái)看一個(gè)參數(shù)組合，w1=w2=1，b1=0，b2=-1，w'1=1，w'2=-1，則函數(shù)圖形如圖3.11所示。
由此可見(jiàn)，我們合成了一個(gè)具有單一波峰的曲線，有點(diǎn)類(lèi)似于正態(tài)分布的鐘形曲線。一般地，只要變換參數(shù)組合，我們就可以用兩個(gè)隱含層神經(jīng)元擬合出任意具有單峰的曲線。 那么，如果有4個(gè)或者6個(gè)甚至更多的隱含層神經(jīng)元，不難想象，就可以得到具有雙峰、三峰和任意多個(gè)峰的曲線，我們可以粗略地認(rèn)為兩個(gè)神經(jīng)元可以用來(lái)逼近一個(gè)波峰（波谷）。事實(shí)上，對(duì)于更一般的情形，科學(xué)家早已從理論上證明，用有限多的隱含層神經(jīng)元可以逼近任意的有限區(qū)間內(nèi)的曲線，這叫作通用逼近定理（universal approximation theorem）。
|
|
|
