神經(jīng)網(wǎng)絡(luò)BP模型

一、BP模型概述誤差逆?zhèn)鞑?Error Back-Propagation)神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)稱為BP(Back-Propagation)網(wǎng)絡(luò)模型。

Pall Werbas博士于1974年在他的博士論文中提出了誤差逆?zhèn)鞑W(xué)習(xí)算法。完整提出并被廣泛接受誤差逆?zhèn)鞑W(xué)習(xí)算法的是以Rumelhart和McCelland為首的科學(xué)家小組。

他們?cè)?986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息處理》)一書中，對(duì)誤差逆?zhèn)鞑W(xué)習(xí)算法進(jìn)行了詳盡的分析與介紹，并對(duì)這一算法的潛在能力進(jìn)行了深入探討。

BP網(wǎng)絡(luò)是一種具有3層或3層以上的階層型神經(jīng)網(wǎng)絡(luò)。上、下層之間各神經(jīng)元實(shí)現(xiàn)全連接，即下層的每一個(gè)神經(jīng)元與上層的每一個(gè)神經(jīng)元都實(shí)現(xiàn)權(quán)連接，而每一層各神經(jīng)元之間無(wú)連接。

網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)，當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，神經(jīng)元的激活值從輸入層經(jīng)各隱含層向輸出層傳播，在輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)。

在這之后，按減小期望輸出與實(shí)際輸出的誤差的方向，從輸入層經(jīng)各隱含層逐層修正各連接權(quán)，最后回到輸入層，故得名“誤差逆?zhèn)鞑W(xué)習(xí)算法”。

隨著這種誤差逆?zhèn)鞑バ拚牟粩噙M(jìn)行，網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷提高。

BP網(wǎng)絡(luò)主要應(yīng)用于以下幾個(gè)方面：1)函數(shù)逼近：用輸入模式與相應(yīng)的期望輸出模式學(xué)習(xí)一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)；2)模式識(shí)別：用一個(gè)特定的期望輸出模式將它與輸入模式聯(lián)系起來；3)分類：把輸入模式以所定義的合適方式進(jìn)行分類；4)數(shù)據(jù)壓縮：減少輸出矢量的維數(shù)以便于傳輸或存儲(chǔ)。

在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。

二、BP模型原理下面以三層BP網(wǎng)絡(luò)為例，說明學(xué)習(xí)和應(yīng)用的原理。

1.數(shù)據(jù)定義P對(duì)學(xué)習(xí)模式(xp，dp)，p=1，2，…，P；輸入模式矩陣X[N][P]=(x1，x2，…，xP)；目標(biāo)模式矩陣d[M][P]=(d1，d2，…，dP)。

三層BP網(wǎng)絡(luò)結(jié)構(gòu)輸入層神經(jīng)元節(jié)點(diǎn)數(shù)S0=N，i=1，2，…，S0；隱含層神經(jīng)元節(jié)點(diǎn)數(shù)S1，j=1，2，…，S1；神經(jīng)元激活函數(shù)f1[S1]；權(quán)值矩陣W1[S1][S0]；偏差向量b1[S1]。

輸出層神經(jīng)元節(jié)點(diǎn)數(shù)S2=M，k=1，2，…，S2；神經(jīng)元激活函數(shù)f2[S2]；權(quán)值矩陣W2[S2][S1]；偏差向量b2[S2]。

學(xué)習(xí)參數(shù)目標(biāo)誤差?；初始權(quán)更新值Δ0；最大權(quán)更新值Δmax；權(quán)更新值增大倍數(shù)η+；權(quán)更新值減小倍數(shù)η-。

2.誤差函數(shù)定義對(duì)第p個(gè)輸入模式的誤差的計(jì)算公式為中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型y2kp為BP網(wǎng)的計(jì)算輸出。

3.BP網(wǎng)絡(luò)學(xué)習(xí)公式推導(dǎo)BP網(wǎng)絡(luò)學(xué)習(xí)公式推導(dǎo)的指導(dǎo)思想是，對(duì)網(wǎng)絡(luò)的權(quán)值W、偏差b修正，使誤差函數(shù)沿負(fù)梯度方向下降，直到網(wǎng)絡(luò)輸出誤差精度達(dá)到目標(biāo)精度要求，學(xué)習(xí)結(jié)束。

各層輸出計(jì)算公式輸入層y0i=xi，i=1，2，…，S0；隱含層中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型y1j=f1(z1j)，j=1，2，…，S1；輸出層中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型y2k=f2(z2k)，k=1，2，…，S2。

輸出節(jié)點(diǎn)的誤差公式中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型對(duì)輸出層節(jié)點(diǎn)的梯度公式推導(dǎo)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型E是多個(gè)y2m的函數(shù)，但只有一個(gè)y2k與wkj有關(guān)，各y2m間相互獨(dú)立。

其中中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型設(shè)輸出層節(jié)點(diǎn)誤差為δ2k=(dk-y2k)·f2′(z2k)，則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型同理可得中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型對(duì)隱含層節(jié)點(diǎn)的梯度公式推導(dǎo)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型E是多個(gè)y2k的函數(shù)，針對(duì)某一個(gè)w1ji，對(duì)應(yīng)一個(gè)y1j，它與所有的y2k有關(guān)。

因此，上式只存在對(duì)k的求和，其中中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型設(shè)隱含層節(jié)點(diǎn)誤差為中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型同理可得中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型4.采用彈性BP算法(RPROP)計(jì)算權(quán)值W、偏差b的修正值ΔW，Δb1993年德國(guó) Martin Riedmiller和Heinrich Braun 在他們的論文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——彈性BP算法(RPROP)。

這種方法試圖消除梯度的大小對(duì)權(quán)步的有害影響，因此，只有梯度的符號(hào)被認(rèn)為表示權(quán)更新的方向。

權(quán)改變的大小僅僅由權(quán)專門的“更新值” 確定中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型其中 表示在模式集的所有模式(批學(xué)習(xí))上求和的梯度信息，(t)表示t時(shí)刻或第t次學(xué)習(xí)。

權(quán)更新遵循規(guī)則：如果導(dǎo)數(shù)是正(增加誤差)，這個(gè)權(quán)由它的更新值減少。如果導(dǎo)數(shù)是負(fù)，更新值增加。中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型RPROP算法是根據(jù)局部梯度信息實(shí)現(xiàn)權(quán)步的直接修改。

對(duì)于每個(gè)權(quán)，我們引入它的各自的更新值 ，它獨(dú)自確定權(quán)更新值的大小。

這是基于符號(hào)相關(guān)的自適應(yīng)過程，它基于在誤差函數(shù)E上的局部梯度信息，按照以下的學(xué)習(xí)規(guī)則更新中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型其中0＜η-＜1＜η+。

在每個(gè)時(shí)刻，如果目標(biāo)函數(shù)的梯度改變它的符號(hào)，它表示最后的更新太大，更新值 應(yīng)由權(quán)更新值減小倍數(shù)因子η-得到減少；如果目標(biāo)函數(shù)的梯度保持它的符號(hào)，更新值應(yīng)由權(quán)更新值增大倍數(shù)因子η+得到增大。

為了減少自由地可調(diào)參數(shù)的數(shù)目，增大倍數(shù)因子η+和減小倍數(shù)因子η–被設(shè)置到固定值η+=1.2，η-=0.5，這兩個(gè)值在大量的實(shí)踐中得到了很好的效果。

RPROP算法采用了兩個(gè)參數(shù)：初始權(quán)更新值Δ0和最大權(quán)更新值Δmax當(dāng)學(xué)習(xí)開始時(shí)，所有的更新值被設(shè)置為初始值Δ0，因?yàn)樗苯哟_定了前面權(quán)步的大小，它應(yīng)該按照權(quán)自身的初值進(jìn)行選擇，例如，Δ0=0.1(默認(rèn)設(shè)置)。

為了使權(quán)不至于變得太大，設(shè)置最大權(quán)更新值限制Δmax，默認(rèn)上界設(shè)置為Δmax=50.0。在很多實(shí)驗(yàn)中，發(fā)現(xiàn)通過設(shè)置最大權(quán)更新值Δmax到相當(dāng)小的值，例如Δmax=1.0。

我們可能達(dá)到誤差減小的平滑性能。5.計(jì)算修正權(quán)值W、偏差b第t次學(xué)習(xí)，權(quán)值W、偏差b的的修正公式W(t)=W(t-1)+ΔW(t)，b(t)=b(t-1)+Δb(t)，其中，t為學(xué)習(xí)次數(shù)。

6.BP網(wǎng)絡(luò)學(xué)習(xí)成功結(jié)束條件每次學(xué)習(xí)累積誤差平方和中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型每次學(xué)習(xí)平均誤差中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型當(dāng)平均誤差MSE＜ε，BP網(wǎng)絡(luò)學(xué)習(xí)成功結(jié)束。

7.BP網(wǎng)絡(luò)應(yīng)用預(yù)測(cè)在應(yīng)用BP網(wǎng)絡(luò)時(shí)，提供網(wǎng)絡(luò)輸入給輸入層，應(yīng)用給定的BP網(wǎng)絡(luò)及BP網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)值W、偏差b，網(wǎng)絡(luò)輸入經(jīng)過從輸入層經(jīng)各隱含層向輸出層的“順傳播”過程，計(jì)算出BP網(wǎng)的預(yù)測(cè)輸出。

8.神經(jīng)元激活函數(shù)f線性函數(shù)f(x)=x，f′(x)=1，f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。一般用于輸出層，可使網(wǎng)絡(luò)輸出任何值。

S型函數(shù)S(x)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。f′(x)=f(x)[1-f(x)]，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0， ]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網(wǎng)絡(luò)輸出，對(duì)較大的輸入，放大系數(shù)較小；而對(duì)較小的輸入，放大系數(shù)較大，所以可用來處理和逼近非線性的輸入/輸出關(guān)系。

在用于模式識(shí)別時(shí)，可用于輸出層，產(chǎn)生逼近于0或1的二值輸出。雙曲正切S型函數(shù)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網(wǎng)絡(luò)輸出，對(duì)較大的輸入，放大系數(shù)較小；而對(duì)較小的輸入，放大系數(shù)較大，所以可用來處理和逼近非線性的輸入/輸出關(guān)系。

階梯函數(shù)類型1中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。f′(x)=0。

類型2中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。f′(x)=0。

斜坡函數(shù)類型1中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類型2中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體算法1.三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b初始化總體算法(1)輸入?yún)?shù)X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；(2)計(jì)算輸入模式X[N][P]各個(gè)變量的最大值，最小值矩陣 Xmax[N]，Xmin[N]；(3)隱含層的權(quán)值W1，偏差b1初始化。

情形1：隱含層激活函數(shù)f( )都是雙曲正切S型函數(shù)1)計(jì)算輸入模式X[N][P]的每個(gè)變量的范圍向量Xrng[N]；2)計(jì)算輸入模式X的每個(gè)變量的范圍均值向量Xmid[N]；3)計(jì)算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計(jì)算W[S1][S0]，b[S1]；7)計(jì)算隱含層的初始化權(quán)值W1[S1][S0]；8)計(jì)算隱含層的初始化偏差b1[S1]；9))輸出W1[S1][S0]，b1[S1]。

情形2：隱含層激活函數(shù)f( )都是S型函數(shù)1)計(jì)算輸入模式X[N][P]的每個(gè)變量的范圍向量Xrng[N]；2)計(jì)算輸入模式X的每個(gè)變量的范圍均值向量Xmid[N]；3)計(jì)算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計(jì)算W[S1][S0]，b[S1]；7)計(jì)算隱含層的初始化權(quán)值W1[S1][S0]；8)計(jì)算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

情形3：隱含層激活函數(shù)f( )為其他函數(shù)的情形1)計(jì)算輸入模式X[N][P]的每個(gè)變量的范圍向量Xrng[N]；2)計(jì)算輸入模式X的每個(gè)變量的范圍均值向量Xmid[N]；3)計(jì)算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計(jì)算W[S1][S0]，b[S1]；7)計(jì)算隱含層的初始化權(quán)值W1[S1][S0]；8)計(jì)算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

(4)輸出層的權(quán)值W2，偏差b2初始化1)產(chǎn)生[-1，1]之間均勻分布的S2×S1維隨機(jī)數(shù)矩陣W2[S2][S1]；2)產(chǎn)生[-1，1]之間均勻分布的S2×1維隨機(jī)數(shù)矩陣b2[S2]；3)輸出W2[S2][S1]，b2[S2]。

2.應(yīng)用彈性BP算法(RPROP)學(xué)習(xí)三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b總體算法函數(shù)：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)輸入?yún)?shù)P對(duì)模式(xp，dp)，p=1，2，…，P；三層BP網(wǎng)絡(luò)結(jié)構(gòu)；學(xué)習(xí)參數(shù)。

(2)學(xué)習(xí)初始化1) ；2)各層W，b的梯度值 ， 初始化為零矩陣。

(3)由輸入模式X求第一次學(xué)習(xí)各層輸出y0，y1，y2及第一次學(xué)習(xí)平均誤差MSE(4)進(jìn)入學(xué)習(xí)循環(huán)epoch=1(5)判斷每次學(xué)習(xí)誤差是否達(dá)到目標(biāo)誤差要求如果MSE＜?，則，跳出epoch循環(huán)，轉(zhuǎn)到(12)。

(6)保存第epoch-1次學(xué)習(xí)產(chǎn)生的各層W，b的梯度值 ， (7)求第epoch次學(xué)習(xí)各層W，b的梯度值 ， 1)求各層誤差反向傳播值δ；2)求第p次各層W，b的梯度值 ， ；3)求p=1，2，…，P次模式產(chǎn)生的W，b的梯度值 ， 的累加。

(8)如果epoch=1，則將第epoch-1次學(xué)習(xí)的各層W，b的梯度值 ， 設(shè)為第epoch次學(xué)習(xí)產(chǎn)生的各層W，b的梯度值 ， 。

(9)求各層W，b的更新1)求權(quán)更新值Δij更新；2)求W，b的權(quán)更新值 ， ；3)求第epoch次學(xué)習(xí)修正后的各層W，b。

(10)用修正后各層W、b，由X求第epoch次學(xué)習(xí)各層輸出y0，y1，y2及第epoch次學(xué)習(xí)誤差MSE(11)epoch=epoch+1，如果epoch≤MAX_EPOCH，轉(zhuǎn)到(5)；否則，轉(zhuǎn)到(12)。

(12)輸出處理1)如果MSE＜ε，則學(xué)習(xí)達(dá)到目標(biāo)誤差要求，輸出W1，b1，W2，b2。2)如果MSE≥ε，則學(xué)習(xí)沒有達(dá)到目標(biāo)誤差要求，再次學(xué)習(xí)。

(13)結(jié)束3.三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)預(yù)測(cè)總體算法首先應(yīng)用Train3lBP_RPROP( )學(xué)習(xí)三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b，然后應(yīng)用三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)預(yù)測(cè)。

函數(shù)：Simu3lBP( )。1)輸入?yún)?shù)：P個(gè)需預(yù)測(cè)的輸入數(shù)據(jù)向量xp，p=1，2，…，P；三層BP網(wǎng)絡(luò)結(jié)構(gòu)；學(xué)習(xí)得到的各層權(quán)值W、偏差b。

2)計(jì)算P個(gè)需預(yù)測(cè)的輸入數(shù)據(jù)向量xp(p=1，2，…，P)的網(wǎng)絡(luò)輸出 y2[S2][P]，輸出預(yù)測(cè)結(jié)果y2[S2][P]。四、總體算法流程圖BP網(wǎng)絡(luò)總體算法流程圖見附圖2。

五、數(shù)據(jù)流圖BP網(wǎng)數(shù)據(jù)流圖見附圖1。

六、實(shí)例實(shí)例一 全國(guó)銅礦化探異常數(shù)據(jù)BP 模型分類1.全國(guó)銅礦化探異常數(shù)據(jù)準(zhǔn)備在全國(guó)銅礦化探數(shù)據(jù)上用穩(wěn)健統(tǒng)計(jì)學(xué)方法選取銅異常下限值33.1，生成全國(guó)銅礦化探異常數(shù)據(jù)。

2.模型數(shù)據(jù)準(zhǔn)備根據(jù)全國(guó)銅礦化探異常數(shù)據(jù)，選取7類33個(gè)礦點(diǎn)的化探數(shù)據(jù)作為模型數(shù)據(jù)。

這7類分別是巖漿巖型銅礦、斑巖型銅礦、矽卡巖型、海相火山型銅礦、陸相火山型銅礦、受變質(zhì)型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。3.測(cè)試數(shù)據(jù)準(zhǔn)備全國(guó)化探數(shù)據(jù)作為測(cè)試數(shù)據(jù)集。

4.BP網(wǎng)絡(luò)結(jié)構(gòu)隱層數(shù)2，輸入層到輸出層向量維數(shù)分別為14，9、5、1。學(xué)習(xí)率設(shè)置為0.9，系統(tǒng)誤差1e-5。沒有動(dòng)量項(xiàng)。表8-1 模型數(shù)據(jù)表續(xù)表5.計(jì)算結(jié)果圖如圖8-2、圖8-3。

圖8-2圖8-3 全國(guó)銅礦礦床類型BP模型分類示意圖實(shí)例二 全國(guó)金礦礦石量品位數(shù)據(jù)BP 模型分類1.模型數(shù)據(jù)準(zhǔn)備根據(jù)全國(guó)金礦儲(chǔ)量品位數(shù)據(jù)，選取4類34個(gè)礦床數(shù)據(jù)作為模型數(shù)據(jù)，這4類分別是綠巖型金礦、與中酸性浸入巖有關(guān)的熱液型金礦、微細(xì)浸染型型金礦、火山熱液型金礦(表8-2)。

2.測(cè)試數(shù)據(jù)準(zhǔn)備模型樣本點(diǎn)和部分金礦點(diǎn)金屬量、礦石量、品位數(shù)據(jù)作為測(cè)試數(shù)據(jù)集。3.BP網(wǎng)絡(luò)結(jié)構(gòu)輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學(xué)習(xí)率設(shè)置為0.8，系統(tǒng)誤差1e-4，迭代次數(shù)5000。

表8-2 模型數(shù)據(jù)4.計(jì)算結(jié)果結(jié)果見表8-3、8-4。表8-3 訓(xùn)練學(xué)習(xí)結(jié)果表8-4 預(yù)測(cè)結(jié)果(部分)續(xù)表。

谷歌人工智能寫作項(xiàng)目：神經(jīng)網(wǎng)絡(luò)偽原創(chuàng)

神經(jīng)網(wǎng)絡(luò)中的前向和后向算法

神經(jīng)網(wǎng)絡(luò)中的前向和后向算法看了一段時(shí)間的深度網(wǎng)絡(luò)模型，也在tf和theano上都跑了一些模型，但是感覺沒有潛下去，對(duì)很多東西的理解都只停留在“這個(gè)是干什么的”層次上面文案狗。

昨天在和小老師一起看一篇文章的時(shí)候，就被問到RNN里面的后向傳播算法具體是怎么推。當(dāng)時(shí)心里覺得BP算法其實(shí)很熟悉啊，然后在推導(dǎo)的過程中就一臉懵逼了。

于是又去網(wǎng)上翻了翻相關(guān)內(nèi)容，自己走了一遍，準(zhǔn)備做個(gè)筆記，算是個(gè)交代。準(zhǔn)備一個(gè)神經(jīng)網(wǎng)絡(luò)模型，比如：其中，[i1,i2]代表輸入層的兩個(gè)結(jié)點(diǎn)，[h1,h2]代表隱藏層的兩個(gè)結(jié)點(diǎn)，[o1,o2]為輸出。

[b1,b2]為偏置項(xiàng)。連接每個(gè)結(jié)點(diǎn)之間的邊已經(jīng)在圖中標(biāo)出。

來了解一下前向算法：前向算法的作用是計(jì)算輸入層結(jié)點(diǎn)對(duì)隱藏層結(jié)點(diǎn)的影響，也就是說，把網(wǎng)絡(luò)正向的走一遍：輸入層—->隱藏層—->輸出層計(jì)算每個(gè)結(jié)點(diǎn)對(duì)其下一層結(jié)點(diǎn)的影響。

?? 例如，我們要算結(jié)點(diǎn)h1的值，那么就是：是一個(gè)簡(jiǎn)單的加權(quán)求和。這里稍微說一下，偏置項(xiàng)和權(quán)重項(xiàng)的作用是類似的，不同之處在于權(quán)重項(xiàng)一般以乘法的形式體現(xiàn)，而偏置項(xiàng)以加法的形式體現(xiàn)。

??而在計(jì)算結(jié)點(diǎn)o1時(shí)，結(jié)點(diǎn)h1的輸出不能簡(jiǎn)單的使用neth1的結(jié)果，必須要計(jì)算激活函數(shù)，激活函數(shù)，不是說要去激活什么，而是要指“激活的神經(jīng)元的特征”通過函數(shù)保留并映射出來。

以sigmoid函數(shù)為例，h1的輸出：于是最后o1的輸出結(jié)果，也就是整個(gè)網(wǎng)絡(luò)的一個(gè)輸出值是：按照上面的步驟計(jì)算出out02，則[outo1,outo2]就是整個(gè)網(wǎng)絡(luò)第一次前向運(yùn)算之后得到的結(jié)果。

后向算法：??在實(shí)際情況中，因?yàn)槭请S機(jī)給定的權(quán)值，很大的可能（幾乎是100%）得到的輸出與實(shí)際結(jié)果之間的偏差非常的大，這個(gè)時(shí)候我們就需要比較我們的輸出和實(shí)際結(jié)果之間的差異，將這個(gè)殘差返回給整個(gè)網(wǎng)絡(luò)，調(diào)整網(wǎng)絡(luò)中的權(quán)重關(guān)系。

這也是為什么我們?cè)谏窠?jīng)網(wǎng)絡(luò)中需要后向傳播的原因。

其主要計(jì)算步驟如下： 1. 計(jì)算總誤差2. 隱藏層的權(quán)值更新在要更新每個(gè)邊的權(quán)重之前，必須要知道這條邊對(duì)最后輸出結(jié)果的影響，可以用整體誤差對(duì)w5求偏導(dǎo)求出：具體計(jì)算的時(shí)候，可以采用鏈?zhǔn)椒▌t展開：在計(jì)算的時(shí)候一定要注意每個(gè)式子里面哪些自變量是什么，求導(dǎo)千萬(wàn)不要求錯(cuò)了。

??需要講出來的一個(gè)地方是，在計(jì)算w1的權(quán)重時(shí)，Etotal中的兩部分都需要對(duì)它進(jìn)行求導(dǎo)，因?yàn)檫@條邊在前向傳播中對(duì)兩個(gè)殘差都有影響3. 更新權(quán)重 這一步里面就沒什么東西了，直接根據(jù)學(xué)習(xí)率來更新權(quán)重：至此，一次正向+反向傳播過程就到此為止，接下來只需要進(jìn)行迭代，不斷調(diào)整邊的權(quán)重，修正網(wǎng)絡(luò)的輸出和實(shí)際結(jié)果之間的偏差（也就是training整個(gè)網(wǎng)絡(luò)）。

(1)BP算法的學(xué)習(xí)過程中有兩個(gè)過程是什么?(2)寫出BP神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型,并以20

bp（back propagation）網(wǎng)絡(luò)是1986年由rumelhart和mccelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。

bp網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。

bp神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。

這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。

人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫“a”、“b”兩個(gè)字母的識(shí)別為例進(jìn)行說明，規(guī)定當(dāng)“a”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“b”時(shí)，輸出為“0”。

所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。

首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“a”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。

在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“a”模式輸入時(shí)，仍然能作出正確的判斷。

如果輸出為“0”(即結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“a”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。

如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫字母“a”、“b”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。

這說明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。

一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。如圖所示拓?fù)浣Y(jié)構(gòu)的單隱層前饋網(wǎng)絡(luò)，一般稱為三層前饋網(wǎng)或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。

它的特點(diǎn)是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無(wú)連接，各層神經(jīng)元之間無(wú)反饋連接，構(gòu)成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

單計(jì)算層前饋神經(jīng)網(wǎng)絡(luò)只能求解線性可分問題，能夠求解非線性問題的網(wǎng)絡(luò)必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。

主要的研究工作集中在以下幾個(gè)方面：（1）生物原型研究。從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。（2）建立理論模型。

根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識(shí)模型、物理化學(xué)模型、數(shù)學(xué)模型等。（3）網(wǎng)絡(luò)模型與算法研究。

在理論模型研究的基礎(chǔ)上構(gòu)作具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計(jì)算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也稱為技術(shù)模型研究。（4）人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)。

在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)，例如，完成某種信號(hào)處理或模式識(shí)別的功能、構(gòu)作專家系統(tǒng)、制成機(jī)器人等等。

縱觀當(dāng)代新興科學(xué)技術(shù)的發(fā)展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學(xué)技術(shù)領(lǐng)域的進(jìn)程中歷經(jīng)了崎嶇不平的道路。我們也會(huì)看到，探索人腦功能和神經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服而日新月異。

神經(jīng)網(wǎng)絡(luò)可以用作分類、聚類、預(yù)測(cè)等。神經(jīng)網(wǎng)絡(luò)需要有一定量的歷史數(shù)據(jù)，通過歷史數(shù)據(jù)的訓(xùn)練，網(wǎng)絡(luò)可以學(xué)習(xí)到數(shù)據(jù)中隱含的知識(shí)。

在你的問題中，首先要找到某些問題的一些特征，以及對(duì)應(yīng)的評(píng)價(jià)數(shù)據(jù)，用這些數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。雖然bp網(wǎng)絡(luò)得到了廣泛的應(yīng)用，但自身也存在一些缺陷和不足，主要包括以下幾個(gè)方面的問題。

首先，由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度慢，需要較長(zhǎng)的訓(xùn)練時(shí)間。

對(duì)于一些復(fù)雜問題，bp算法需要的訓(xùn)練時(shí)間可能非常長(zhǎng)，這主要是由于學(xué)習(xí)速率太小造成的，可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。

其次，bp算法可以使權(quán)值收斂到某個(gè)值，但并不保證其為誤差平面的全局最小值，這是因?yàn)椴捎锰荻认陆捣赡墚a(chǎn)生一個(gè)局部最小值。對(duì)于這個(gè)問題，可以采用附加動(dòng)量法來解決。

再次，網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無(wú)理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗(yàn)或者通過反復(fù)實(shí)驗(yàn)確定。因此，網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。最后，網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。

也就是說，如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從頭開始訓(xùn)練，對(duì)于以前的權(quán)值和閾值是沒有記憶的。但是可以將預(yù)測(cè)、分類或聚類做的比較好的權(quán)值保存。

神經(jīng)網(wǎng)絡(luò)ART1模型

一、ART1模型概述自適應(yīng)共振理論(Adaptive Resonance Theory)簡(jiǎn)稱ART，是于1976年由美國(guó)Boston大學(xué)S.Grossberg提出來的。

這一理論的顯著特點(diǎn)是，充分利用了生物神經(jīng)細(xì)胞之間自興奮與側(cè)抑制的動(dòng)力學(xué)原理，讓輸入模式通過網(wǎng)絡(luò)雙向連接權(quán)的識(shí)別與比較，最后達(dá)到共振來完成對(duì)自身的記憶，并以同樣的方法實(shí)現(xiàn)網(wǎng)絡(luò)的回想。

當(dāng)提供給網(wǎng)絡(luò)回想的是一個(gè)網(wǎng)絡(luò)中記憶的、或是與已記憶的模式十分相似的模式時(shí)，網(wǎng)絡(luò)將會(huì)把這個(gè)模式回想出來，提出正確的分類。

如果提供給網(wǎng)絡(luò)回想的是一個(gè)網(wǎng)絡(luò)中不存在的模式，則網(wǎng)絡(luò)將在不影響已有記憶的前提下，將這一模式記憶下來，并將分配一個(gè)新的分類單元作為這一記憶模式的分類標(biāo)志。

S.Grossberg和G.A.Carpenter經(jīng)過多年研究和不斷發(fā)展，至今已提出了ART1，ART2和ART3三種網(wǎng)絡(luò)結(jié)構(gòu)。

ART1網(wǎng)絡(luò)處理雙極型(或二進(jìn)制)數(shù)據(jù)，即觀察矢量的分量是二值的，它只取0或1。二、ART1模型原理ART1網(wǎng)絡(luò)是兩層結(jié)構(gòu)，分輸入層(比較層)和輸出層(識(shí)別層)。

從輸入層到輸出層由前饋連接權(quán)連接，從輸出層到輸入層由反饋連接權(quán)連接。

設(shè)網(wǎng)絡(luò)輸入層有N個(gè)神經(jīng)元，網(wǎng)絡(luò)輸出層有M個(gè)神經(jīng)元，二值輸入模式和輸出向量分別為：Xp=( ， ，…， )，Yp=( ， ，…， )，p=1，2，…，P，其中P為輸入學(xué)習(xí)模式的個(gè)數(shù)。

設(shè)前饋連接權(quán)和反饋連接權(quán)矩陣分別為W=(wnm)N×M，T=(tnm)N×M，n=1，2，…，N，m=1，2，…，M。

ART1網(wǎng)絡(luò)的學(xué)習(xí)及工作過程，是通過反復(fù)地將輸入學(xué)習(xí)模式由輸入層向輸出層自下而上的識(shí)別和由輸出層向輸入層自上而下的比較過程來實(shí)現(xiàn)的。

當(dāng)這種自下而上的識(shí)別和自上而下的比較達(dá)到共振，即輸出向量可以正確反映輸入學(xué)習(xí)模式的分類，且網(wǎng)絡(luò)原有記憶沒有受到不良影響時(shí)，網(wǎng)絡(luò)對(duì)一個(gè)輸入學(xué)習(xí)模式的記憶分類則告完成。

ART1網(wǎng)絡(luò)的學(xué)習(xí)及工作過程，可以分為初始化階段、識(shí)別階段、比較階段和探尋階段。1.初始化階段ART1網(wǎng)絡(luò)需要初始化的參數(shù)主要有3個(gè)：即W=(wnm)N×M，T=(tnm)N×M和ρ。

反饋連接權(quán)T=(tnm)N×M在網(wǎng)絡(luò)的整個(gè)學(xué)習(xí)過程中取0或1二值形式。這一參數(shù)實(shí)際上反映了輸入層和輸出層之間反饋比較的范圍或強(qiáng)度。由于網(wǎng)絡(luò)在初始化前沒有任何記憶，相當(dāng)于一張白紙，即沒有選擇比較的余的。

因此可將T的元素全部設(shè)置為1，即tnm=1，n=1，2，…，N，m=1，2，…，M。(1)這意味著網(wǎng)絡(luò)在初始狀態(tài)時(shí)，輸入層和輸出層之間將進(jìn)行全范圍比較，隨著學(xué)習(xí)過程的深入，再按一定規(guī)則選擇比較范圍。

前饋連接權(quán)W=(wnm)N×M在網(wǎng)絡(luò)學(xué)習(xí)結(jié)束后，承擔(dān)著對(duì)學(xué)習(xí)模式的記憶任務(wù)。在對(duì)W初始化時(shí)，應(yīng)該給所有學(xué)習(xí)模式提供一個(gè)平等競(jìng)爭(zhēng)的機(jī)會(huì)，然后通過對(duì)輸入模式的競(jìng)爭(zhēng)，按一定規(guī)則調(diào)整W。

W的初始值按下式設(shè)置：中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型ρ稱為網(wǎng)絡(luò)的警戒參數(shù)，其取值范圍為0＜ρ≤1。2.識(shí)別階段ART1網(wǎng)絡(luò)的學(xué)習(xí)識(shí)別階段發(fā)生在輸入學(xué)習(xí)模式由輸入層向輸出層的傳遞過程中。

在這一階段，首先將一個(gè)輸入學(xué)習(xí)模式Xp=( ， ，…， )提供給網(wǎng)絡(luò)的輸入層，然后把作為輸入學(xué)習(xí)模式的存儲(chǔ)媒介的前饋連接權(quán)W=(wnm)N×M與表示對(duì)這一輸入學(xué)習(xí)模式分類結(jié)果的輸出層的各個(gè)神經(jīng)元進(jìn)行比較，以尋找代表正確分類結(jié)果的神經(jīng)元g。

這一比較與尋找過程是通過尋找輸出層神經(jīng)元最大加權(quán)輸入值，即神經(jīng)元之間的競(jìng)爭(zhēng)過程實(shí)現(xiàn)的，如下式所示：中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型至此，網(wǎng)絡(luò)的識(shí)別過程只是告一段落，并沒有最后結(jié)束。

此時(shí)，神經(jīng)元m=g是否真正有資格代表對(duì)輸入學(xué)習(xí)模式Xp的正確分類，還有待于下面的比較和尋找階段來進(jìn)一步確定。一般情況下需要對(duì)代表同一輸入學(xué)習(xí)模式的分類結(jié)果的神經(jīng)元進(jìn)行反復(fù)識(shí)別。

3.比較階段ART1網(wǎng)絡(luò)的比較階段的主要職能是完成以下檢查任務(wù)，每當(dāng)給已學(xué)習(xí)結(jié)束的網(wǎng)絡(luò)提供一個(gè)供識(shí)別的輸入模式時(shí)，首先檢查一下這個(gè)模式是否是已學(xué)習(xí)過的模式，如果是，則讓網(wǎng)絡(luò)回想出這個(gè)模式的分類結(jié)果；如果不是，則對(duì)這個(gè)模式加以記憶，并分配一個(gè)還沒有利用過的輸出層神經(jīng)元來代表這個(gè)模式的分類結(jié)果。

具體過程如下：把由輸出層每個(gè)神經(jīng)元反饋到輸入層的各個(gè)神經(jīng)元的反饋連接權(quán)向量Tm=(t1m，t2m，…，tNm)，m=1，2，…，M作為對(duì)已學(xué)習(xí)的輸入模式的一條條記錄，即讓向量Tm=(t1m，t2m，…，tNm)與輸出層第m個(gè)神經(jīng)元所代表的某一學(xué)習(xí)輸入模式Xp=( ， ，…， )完全相等。

當(dāng)需要網(wǎng)絡(luò)對(duì)某個(gè)輸入模式進(jìn)行回想時(shí)，這個(gè)輸入模式經(jīng)過識(shí)別階段，競(jìng)爭(zhēng)到神經(jīng)元g作為自己的分類結(jié)果后，要檢查神經(jīng)元g反饋回來的向量Tg是否與輸入模式相等。

如果相等，則說明這是一個(gè)已記憶過的模式，神經(jīng)元g代表了這個(gè)模式的分類結(jié)果，識(shí)別與比較產(chǎn)生了共振，網(wǎng)絡(luò)不需要再經(jīng)過尋找階段，直接進(jìn)入下一個(gè)輸入模式的識(shí)別階段；如果不相符，則放棄神經(jīng)元g的分類結(jié)果，進(jìn)入尋找階段。

在比較階段，當(dāng)用向量Tg與輸入模式XP進(jìn)行比較時(shí)，允許二者之間有一定的差距，差距的大小由警戒參數(shù)ρ決定。首先計(jì)算中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型Cg表示向量Tg與輸入模式XP的擬合度。

在式中， (tng*xn)表示向量Tg=(t1g，t2g，…，tNg)與輸入模式Xp=( ， ，…， )的邏輯“與”。當(dāng)Tg=XP時(shí)，Cg=1。

當(dāng)Cg≥ρ時(shí)，說明擬合度大于要求，沒有超過警戒線。以上兩種情況均可以承認(rèn)識(shí)別結(jié)果。

當(dāng)Cg≠1且Cg＞ρ時(shí)，按式(6)式(7)將前饋連接權(quán)Wg=(w1g，w2g，…，wNg)和反饋連接權(quán)Tg=(t1g，t2g，…，tNg)向著與XP更接近的方向調(diào)整。

中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型tng(t+1)=tng(t)*xn，n=1，2，…，N。

(7)當(dāng)Cg＜ρ時(shí)，說明擬合度小于要求，超過警戒線，則拒絕識(shí)別結(jié)果，將神經(jīng)元g重新復(fù)位為0，并將這個(gè)神經(jīng)元排除在下次識(shí)別范圍之外，網(wǎng)絡(luò)轉(zhuǎn)入尋找階段。

4.尋找階段尋找階段是網(wǎng)絡(luò)在比較階段拒絕識(shí)別結(jié)果之后轉(zhuǎn)入的一個(gè)反復(fù)探尋的階段，在這一階段中，網(wǎng)絡(luò)將在余下的輸出層神經(jīng)元中搜索輸入模式Xp的恰當(dāng)分類。

只要在輸出向量Yp=( ， ，… )中含有與這一輸入模式Xp相對(duì)應(yīng)、或在警戒線以內(nèi)相對(duì)應(yīng)的分類單元，則網(wǎng)絡(luò)可以得到與記憶模式相符的分類結(jié)果。

如果在已記憶的分類結(jié)果中找不到與現(xiàn)在輸入的模式相對(duì)應(yīng)的分類，但在輸出向量中還有未曾使用過的單元，則可以給這個(gè)輸入模式分配一個(gè)新的分類單元。

在以上兩種情況下，網(wǎng)絡(luò)的尋找過程總能獲得成功，也就是說共振終將發(fā)生。

三、總體算法設(shè)網(wǎng)絡(luò)輸入層有N個(gè)神經(jīng)元，網(wǎng)絡(luò)輸出層有M個(gè)神經(jīng)元，二值輸入模式和輸出向量分別為：Xp=( ， ，…， )，Yp=( ， ，…， )p=1，2，…，p，其中p為輸入學(xué)習(xí)模式的個(gè)數(shù)。

設(shè)前饋連接權(quán)和反饋連接權(quán)矩陣分別為W=(wnm)N×M，T=(tnm)N×M，n=1，2，…，N，m=1，2，…，M。

(1)網(wǎng)絡(luò)初始化tnm(0)=1，中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型n=1，2，…，N，m=1，2，…，M。0＜ρ≤1。

(2)將輸入模式Xp=( ， ，…， )提供給網(wǎng)絡(luò)的輸入層(3)計(jì)算輸出層各神經(jīng)元輸入加權(quán)和中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型(4)選擇XP的最佳分類結(jié)果中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型令神經(jīng)元g的輸出為1。

(5)計(jì)算中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型判斷中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型當(dāng)式(8)成立，轉(zhuǎn)到(7)，否則，轉(zhuǎn)到(6)。

(6)取消識(shí)別結(jié)果，將輸出層神經(jīng)元g的輸出值復(fù)位為0，并將這一神經(jīng)元排除在下一次識(shí)別的范圍之外，返回步驟(4)。

當(dāng)所有已利用過的神經(jīng)元都無(wú)法滿足式(8)，則選擇一個(gè)新的神經(jīng)元作為分類結(jié)果，轉(zhuǎn)到步驟(7)。

(7)承認(rèn)識(shí)別結(jié)果，并按下式調(diào)整連接權(quán)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型tng(t+1)=tng(t)*xn，n=1，2，…，N。

(8)將步驟(6)復(fù)位的所有神經(jīng)元重新加入識(shí)別范圍之內(nèi)，返回步驟(2)對(duì)下一模式進(jìn)行識(shí)別。(9)輸出分類識(shí)別結(jié)果。(10)結(jié)束。四、實(shí)例實(shí)例為ART1神經(jīng)網(wǎng)絡(luò)模型在柴北緣-東昆侖造山型金礦預(yù)測(cè)的應(yīng)用。

1.建立綜合預(yù)測(cè)模型柴北緣—東昆侖地區(qū)位于青海省的西部，是中央造山帶的西部成員——秦祁昆褶皺系的一部分，是典型的復(fù)合造山帶(殷鴻福等，1998)。

根據(jù)柴北緣—東昆侖地區(qū)地質(zhì)概括以及造山型金礦成礦特點(diǎn)，選擇與成礦相關(guān)密切的專題數(shù)據(jù)，建立柴北緣—東昆侖地區(qū)的綜合信息找礦模型：1)金礦重砂異常數(shù)據(jù)是金礦的重要找礦標(biāo)志。

2)金礦水化異常數(shù)據(jù)是金礦的重要找礦標(biāo)志。3)金礦的化探異常數(shù)據(jù)控制金礦床的分布。4)金礦的空間分布與通過該區(qū)的深大斷裂有關(guān)。5)研究區(qū)內(nèi)斷裂密集程度控制金礦的產(chǎn)出。

6)重力構(gòu)造的存在與否是金礦存在的一個(gè)標(biāo)志。7)磁力構(gòu)造線的存在也是金礦存在的一個(gè)重要標(biāo)志。8)研究區(qū)地質(zhì)復(fù)雜程度也對(duì)金礦的產(chǎn)出具有重要的作用。9)研究區(qū)存在的礦(化)點(diǎn)是一個(gè)重要的標(biāo)志。

2.劃分預(yù)測(cè)單元預(yù)測(cè)工作是在單元上進(jìn)行的，預(yù)測(cè)工作的結(jié)果是與單元有著較為直接的聯(lián)系，在找礦模型指導(dǎo)下，以最大限度地反映成礦信息和預(yù)測(cè)單元面積最小為原則，通過對(duì)研究區(qū)內(nèi)地質(zhì)、地球物理、地球化學(xué)等的綜合資料分析，對(duì)可能的成礦地段圈定了預(yù)測(cè)單元。

采用網(wǎng)格化單元作為本次研究的預(yù)測(cè)單元，網(wǎng)格單元的大小是，40×40，將研究區(qū)劃分成774個(gè)預(yù)測(cè)單元。

3.變量選擇(表8-6)4.ART1模型預(yù)測(cè)結(jié)果ART1神經(jīng)網(wǎng)絡(luò)模型算法中，給定不同的閾值，將改變預(yù)測(cè)分類的結(jié)果。

本次實(shí)驗(yàn)選取得閾值為ρ=0.41，系統(tǒng)根據(jù)此閾值進(jìn)行計(jì)算獲得計(jì)算結(jié)果，并通過將不同的分類結(jié)果賦予不同的顏色，最終獲得ART模型預(yù)測(cè)單元的分類結(jié)果。分類的結(jié)果是形成29個(gè)類別。

分類結(jié)果用不同的顏色表示，其具體結(jié)果地顯示見圖8-5。圖形中顏色只代表類別號(hào)，不代表分類的好壞。將礦點(diǎn)專題圖層疊加以后，可以看出，顏色為灰色的單元與礦的關(guān)系更為密切。

表8-6 預(yù)測(cè)變量標(biāo)志的選擇表圖8-5 東昆侖—柴北緣地區(qū)基于ARTL模型的金礦分類結(jié)果圖。

神經(jīng)網(wǎng)絡(luò)算法的三大類分別是？

神經(jīng)網(wǎng)絡(luò)算法的三大類分別是：1、前饋神經(jīng)網(wǎng)絡(luò)：這是實(shí)際應(yīng)用中最常見的神經(jīng)網(wǎng)絡(luò)類型。第一層是輸入，最后一層是輸出。如果有多個(gè)隱藏層，我們稱之為“深度”神經(jīng)網(wǎng)絡(luò)。他們計(jì)算出一系列改變樣本相似性的變換。

各層神經(jīng)元的活動(dòng)是前一層活動(dòng)的非線性函數(shù)。2、循環(huán)網(wǎng)絡(luò)：循環(huán)網(wǎng)絡(luò)在他們的連接圖中定向了循環(huán)，這意味著你可以按照箭頭回到你開始的地方。他們可以有復(fù)雜的動(dòng)態(tài)，使其很難訓(xùn)練。他們更具有生物真實(shí)性。

循環(huán)網(wǎng)絡(luò)的目的是用來處理序列數(shù)據(jù)。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節(jié)點(diǎn)是無(wú)連接的。但是這種普通的神經(jīng)網(wǎng)絡(luò)對(duì)于很多問題卻無(wú)能無(wú)力。

循環(huán)神經(jīng)網(wǎng)路，即一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。

具體的表現(xiàn)形式為網(wǎng)絡(luò)會(huì)對(duì)前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，即隱藏層之間的節(jié)點(diǎn)不再無(wú)連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時(shí)刻隱藏層的輸出。

3、對(duì)稱連接網(wǎng)絡(luò)：對(duì)稱連接網(wǎng)絡(luò)有點(diǎn)像循環(huán)網(wǎng)絡(luò)，但是單元之間的連接是對(duì)稱的（它們?cè)趦蓚€(gè)方向上權(quán)重相同）。比起循環(huán)網(wǎng)絡(luò)，對(duì)稱連接網(wǎng)絡(luò)更容易分析。這個(gè)網(wǎng)絡(luò)中有更多的限制，因?yàn)樗鼈冏袷啬芰亢瘮?shù)定律。

沒有隱藏單元的對(duì)稱連接網(wǎng)絡(luò)被稱為“Hopfield 網(wǎng)絡(luò)”。有隱藏單元的對(duì)稱連接的網(wǎng)絡(luò)被稱為玻爾茲曼機(jī)。

擴(kuò)展資料：應(yīng)用及發(fā)展：心理學(xué)家和認(rèn)知科學(xué)家研究神經(jīng)網(wǎng)絡(luò)的目的在于探索人腦加工、儲(chǔ)存和搜索信息的機(jī)制，弄清人腦功能的機(jī)理，建立人類認(rèn)知過程的微結(jié)構(gòu)理論。

生物學(xué)、醫(yī)學(xué)、腦科學(xué)專家試圖通過神經(jīng)網(wǎng)絡(luò)的研究推動(dòng)腦科學(xué)向定量、精確和理論化體系發(fā)展，同時(shí)也寄希望于臨床醫(yī)學(xué)的新突破；信息處理和計(jì)算機(jī)科學(xué)家研究這一問題的目的在于尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構(gòu)造更加逼近人腦功能的新一代計(jì)算機(jī)。

BP神經(jīng)網(wǎng)絡(luò)和感知器有什么區(qū)別？

1、發(fā)展背景不同：感知器是Frank Rosenblatt在1957年所發(fā)明的一種人工神經(jīng)網(wǎng)絡(luò)，可以被視為一種最簡(jiǎn)單形式的前饋式人工神經(jīng)網(wǎng)絡(luò)，是一種二元線性分類器。

而BP神經(jīng)網(wǎng)絡(luò)發(fā)展于20世紀(jì)80年代中期，David Runelhart。

Geoffrey Hinton和Ronald W-llians、DavidParker等人分別獨(dú)立發(fā)現(xiàn)了誤差反向傳播算法，簡(jiǎn)稱BP，系統(tǒng)解決了多層神經(jīng)網(wǎng)絡(luò)隱含層連接權(quán)學(xué)習(xí)問題，并在數(shù)學(xué)上給出了完整推導(dǎo)。

2、結(jié)構(gòu)不同：BP網(wǎng)絡(luò)是在輸入層與輸出層之間增加若干層(一層或多層)神經(jīng)元，這些神經(jīng)元稱為隱單元，它們與外界沒有直接的聯(lián)系，但其狀態(tài)的改變，則能影響輸入與輸出之間的關(guān)系，每一層可以有若干個(gè)節(jié)點(diǎn)。

感知器也被指為單層的人工神經(jīng)網(wǎng)絡(luò)，以區(qū)別于較復(fù)雜的多層感知器（Multilayer Perceptron）。 作為一種線性分類器，（單層）感知器可說是最簡(jiǎn)單的前向人工神經(jīng)網(wǎng)絡(luò)形式。

3、算法不同：BP神經(jīng)網(wǎng)絡(luò)的計(jì)算過程由正向計(jì)算過程和反向計(jì)算過程組成。正向傳播過程，輸入模式從輸入層經(jīng)隱單元層逐層處理，并轉(zhuǎn)向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。

感知器使用特征向量來表示的前饋式人工神經(jīng)網(wǎng)絡(luò)，它是一種二元分類器，輸入直接經(jīng)過權(quán)重關(guān)系轉(zhuǎn)換為輸出。參考資料來源：百度百科-感知器參考資料來源：百度百科-BP神經(jīng)網(wǎng)絡(luò)。

?

總結(jié)

以上是生活随笔為你收集整理的神经网络模型的实际案例,神经网络模型数据处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。