影響人工神經(jīng)網(wǎng)絡(luò)性能的三要素

谷歌人工智能寫(xiě)作項(xiàng)目：神經(jīng)網(wǎng)絡(luò)偽原創(chuàng)

如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)

1、先別著急寫(xiě)代碼訓(xùn)練神經(jīng)網(wǎng)絡(luò)前，別管代碼，先從預(yù)處理數(shù)據(jù)集開(kāi)始寫(xiě)作貓。我們先花幾個(gè)小時(shí)的時(shí)間，了解數(shù)據(jù)的分布并找出其中的規(guī)律。

Andrej有一次在整理數(shù)據(jù)時(shí)發(fā)現(xiàn)了重復(fù)的樣本，還有一次發(fā)現(xiàn)了圖像和標(biāo)簽中的錯(cuò)誤。所以先看一眼數(shù)據(jù)能避免我們走很多彎路。

由于神經(jīng)網(wǎng)絡(luò)實(shí)際上是數(shù)據(jù)集的壓縮版本，因此您將能夠查看網(wǎng)絡(luò)（錯(cuò)誤）預(yù)測(cè)并了解它們的來(lái)源。如果你的網(wǎng)絡(luò)給你的預(yù)測(cè)看起來(lái)與你在數(shù)據(jù)中看到的內(nèi)容不一致，那么就會(huì)有所收獲。

一旦從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律，可以編寫(xiě)一些代碼對(duì)他們進(jìn)行搜索、過(guò)濾、排序。把數(shù)據(jù)可視化能幫助我們發(fā)現(xiàn)異常值，而異常值總能揭示數(shù)據(jù)的質(zhì)量或預(yù)處理中的一些錯(cuò)誤。

2、設(shè)置端到端的訓(xùn)練評(píng)估框架處理完數(shù)據(jù)集，接下來(lái)就能開(kāi)始訓(xùn)練模型了嗎？并不能！下一步是建立一個(gè)完整的訓(xùn)練+評(píng)估框架。在這個(gè)階段，我們選擇一個(gè)簡(jiǎn)單又不至于搞砸的模型，比如線(xiàn)性分類(lèi)器、CNN，可視化損失。

獲得準(zhǔn)確度等衡量模型的標(biāo)準(zhǔn)，用模型進(jìn)行預(yù)測(cè)。這個(gè)階段的技巧有：· 固定隨機(jī)種子使用固定的隨機(jī)種子，來(lái)保證運(yùn)行代碼兩次都獲得相同的結(jié)果，消除差異因素。· 簡(jiǎn)單化在此階段不要有任何幻想，不要擴(kuò)增數(shù)據(jù)。

擴(kuò)增數(shù)據(jù)后面會(huì)用到，但是在這里不要使用，現(xiàn)在引入只會(huì)導(dǎo)致錯(cuò)誤。

· 在評(píng)估中添加有效數(shù)字在繪制測(cè)試集損失時(shí)，對(duì)整個(gè)測(cè)試集進(jìn)行評(píng)估，不要只繪制批次測(cè)試損失圖像，然后用Tensorboard對(duì)它們進(jìn)行平滑處理。· 在初始階段驗(yàn)證損失函數(shù)驗(yàn)證函數(shù)是否從正確的損失值開(kāi)始。

例如，如果正確初始化最后一層，則應(yīng)在softmax初始化時(shí)測(cè)量-log(1/n_classes)。· 初始化正確初始化最后一層的權(quán)重。如果回歸一些平均值為50的值，則將最終偏差初始化為50。

如果有一個(gè)比例為1:10的不平衡數(shù)據(jù)集，請(qǐng)?jiān)O(shè)置對(duì)數(shù)的偏差，使網(wǎng)絡(luò)預(yù)測(cè)概率在初始化時(shí)為0.1。正確設(shè)置這些可以加速模型的收斂。· 人類(lèi)基線(xiàn)監(jiān)控除人為可解釋和可檢查的損失之外的指標(biāo)。

盡可能評(píng)估人的準(zhǔn)確性并與之進(jìn)行比較。或者對(duì)測(cè)試數(shù)據(jù)進(jìn)行兩次注釋，并且對(duì)于每個(gè)示例，將一個(gè)注釋視為預(yù)測(cè)，將第二個(gè)注釋視為事實(shí)。

· 設(shè)置一個(gè)獨(dú)立于輸入的基線(xiàn)最簡(jiǎn)單的方法是將所有輸入設(shè)置為零，看看模型是否學(xué)會(huì)從輸入中提取任何信息。· 過(guò)擬合一個(gè)batch增加了模型的容量并驗(yàn)證我們可以達(dá)到的最低損失。

· 驗(yàn)證減少訓(xùn)練損失嘗試稍微增加數(shù)據(jù)容量。

BP人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（artificialneuralnetwork，ANN）指由大量與自然神經(jīng)系統(tǒng)相類(lèi)似的神經(jīng)元聯(lián)結(jié)而成的網(wǎng)絡(luò)，是用工程技術(shù)手段模擬生物網(wǎng)絡(luò)結(jié)構(gòu)特征和功能特征的一類(lèi)人工系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)不但具有處理數(shù)值數(shù)據(jù)的一般計(jì)算能力，而且還具有處理知識(shí)的思維、學(xué)習(xí)、記憶能力，它采用類(lèi)似于“黑箱”的方法，通過(guò)學(xué)習(xí)和記憶，找出輸入、輸出變量之間的非線(xiàn)性關(guān)系（映射），在執(zhí)行問(wèn)題和求解時(shí)，將所獲取的數(shù)據(jù)輸入到已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)，依據(jù)網(wǎng)絡(luò)學(xué)到的知識(shí)進(jìn)行網(wǎng)絡(luò)推理，得出合理的答案與結(jié)果。

巖土工程中的許多問(wèn)題是非線(xiàn)性問(wèn)題，變量之間的關(guān)系十分復(fù)雜，很難用確切的數(shù)學(xué)、力學(xué)模型來(lái)描述。

工程現(xiàn)場(chǎng)實(shí)測(cè)數(shù)據(jù)的代表性與測(cè)點(diǎn)的位置、范圍和手段有關(guān)，有時(shí)很難滿(mǎn)足傳統(tǒng)統(tǒng)計(jì)方法所要求的統(tǒng)計(jì)條件和規(guī)律，加之巖土工程信息的復(fù)雜性和不確定性，因而運(yùn)用神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)巖土工程問(wèn)題的求解是合適的。

BP神經(jīng)網(wǎng)絡(luò)模型是誤差反向傳播（BackPagation）網(wǎng)絡(luò)模型的簡(jiǎn)稱(chēng)。它由輸入層、隱含層和輸出層組成。

網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)網(wǎng)絡(luò)各層節(jié)點(diǎn)間連接權(quán)逐步修改的過(guò)程，這一過(guò)程由兩部分組成：正向傳播和反向傳播。

正向傳播是輸入模式從輸入層經(jīng)隱含層處理傳向輸出層；反向傳播是均方誤差信息從輸出層向輸入層傳播，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小。

BP神經(jīng)網(wǎng)絡(luò)模型在建立及應(yīng)用過(guò)程中，主要存在的不足和建議有以下四個(gè)方面：（1）對(duì)于神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)愈多，網(wǎng)絡(luò)的訓(xùn)練效果愈佳，也更能反映實(shí)際。

但在實(shí)際操作中，由于條件的限制很難選取大量的樣本值進(jìn)行訓(xùn)練，樣本數(shù)量偏少。（2）BP網(wǎng)絡(luò)模型其計(jì)算速度較慢、無(wú)法表達(dá)預(yù)測(cè)量與其相關(guān)參數(shù)之間親疏關(guān)系。

（3）以定量數(shù)據(jù)為基礎(chǔ)建立模型，若能收集到充分資料，以定性指標(biāo)（如基坑降水方式、基坑支護(hù)模式、施工工況等）和一些易獲取的定量指標(biāo)作為輸入層，以評(píng)價(jià)等級(jí)作為輸出層，這樣建立的BP網(wǎng)絡(luò)模型將更準(zhǔn)確全面。

（4）BP人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有非線(xiàn)性、智能的特點(diǎn)。

較好地考慮了定性描述和定量計(jì)算、精確邏輯分析和非確定性推理等方面，但由于樣本不同，影響要素的權(quán)重不同，以及在根據(jù)先驗(yàn)知識(shí)和前人的經(jīng)驗(yàn)總結(jié)對(duì)定性參數(shù)進(jìn)行量化處理，必然會(huì)影響評(píng)價(jià)的客觀(guān)性和準(zhǔn)確性。

因此，在實(shí)際評(píng)價(jià)中只有根據(jù)不同的基坑施工工況、不同的周邊環(huán)境條件，應(yīng)不同用戶(hù)的需求，選擇不同的分析指標(biāo)，才能滿(mǎn)足復(fù)雜工況條件下地質(zhì)環(huán)境評(píng)價(jià)的要求，取得較好的應(yīng)用效果。

神經(jīng)網(wǎng)絡(luò)算法的三大類(lèi)分別是？

神經(jīng)網(wǎng)絡(luò)算法的三大類(lèi)分別是：1、前饋神經(jīng)網(wǎng)絡(luò)：這是實(shí)際應(yīng)用中最常見(jiàn)的神經(jīng)網(wǎng)絡(luò)類(lèi)型。第一層是輸入，最后一層是輸出。如果有多個(gè)隱藏層，我們稱(chēng)之為“深度”神經(jīng)網(wǎng)絡(luò)。他們計(jì)算出一系列改變樣本相似性的變換。

各層神經(jīng)元的活動(dòng)是前一層活動(dòng)的非線(xiàn)性函數(shù)。2、循環(huán)網(wǎng)絡(luò)：循環(huán)網(wǎng)絡(luò)在他們的連接圖中定向了循環(huán)，這意味著你可以按照箭頭回到你開(kāi)始的地方。他們可以有復(fù)雜的動(dòng)態(tài)，使其很難訓(xùn)練。他們更具有生物真實(shí)性。

循環(huán)網(wǎng)絡(luò)的目的是用來(lái)處理序列數(shù)據(jù)。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節(jié)點(diǎn)是無(wú)連接的。但是這種普通的神經(jīng)網(wǎng)絡(luò)對(duì)于很多問(wèn)題卻無(wú)能無(wú)力。

循環(huán)神經(jīng)網(wǎng)路，即一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。

具體的表現(xiàn)形式為網(wǎng)絡(luò)會(huì)對(duì)前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，即隱藏層之間的節(jié)點(diǎn)不再無(wú)連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時(shí)刻隱藏層的輸出。

3、對(duì)稱(chēng)連接網(wǎng)絡(luò)：對(duì)稱(chēng)連接網(wǎng)絡(luò)有點(diǎn)像循環(huán)網(wǎng)絡(luò)，但是單元之間的連接是對(duì)稱(chēng)的（它們?cè)趦蓚€(gè)方向上權(quán)重相同）。比起循環(huán)網(wǎng)絡(luò)，對(duì)稱(chēng)連接網(wǎng)絡(luò)更容易分析。這個(gè)網(wǎng)絡(luò)中有更多的限制，因?yàn)樗鼈冏袷啬芰亢瘮?shù)定律。

沒(méi)有隱藏單元的對(duì)稱(chēng)連接網(wǎng)絡(luò)被稱(chēng)為“Hopfield 網(wǎng)絡(luò)”。有隱藏單元的對(duì)稱(chēng)連接的網(wǎng)絡(luò)被稱(chēng)為玻爾茲曼機(jī)。

擴(kuò)展資料：應(yīng)用及發(fā)展：心理學(xué)家和認(rèn)知科學(xué)家研究神經(jīng)網(wǎng)絡(luò)的目的在于探索人腦加工、儲(chǔ)存和搜索信息的機(jī)制，弄清人腦功能的機(jī)理，建立人類(lèi)認(rèn)知過(guò)程的微結(jié)構(gòu)理論。

生物學(xué)、醫(yī)學(xué)、腦科學(xué)專(zhuān)家試圖通過(guò)神經(jīng)網(wǎng)絡(luò)的研究推動(dòng)腦科學(xué)向定量、精確和理論化體系發(fā)展，同時(shí)也寄希望于臨床醫(yī)學(xué)的新突破；信息處理和計(jì)算機(jī)科學(xué)家研究這一問(wèn)題的目的在于尋求新的途徑以解決不能解決或解決起來(lái)有極大困難的大量問(wèn)題，構(gòu)造更加逼近人腦功能的新一代計(jì)算機(jī)。

神經(jīng)網(wǎng)絡(luò)BP模型

一、BP模型概述誤差逆?zhèn)鞑?Error Back-Propagation)神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)稱(chēng)為BP(Back-Propagation)網(wǎng)絡(luò)模型。

Pall Werbas博士于1974年在他的博士論文中提出了誤差逆?zhèn)鞑W(xué)習(xí)算法。完整提出并被廣泛接受誤差逆?zhèn)鞑W(xué)習(xí)算法的是以Rumelhart和McCelland為首的科學(xué)家小組。

他們?cè)?986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息處理》)一書(shū)中，對(duì)誤差逆?zhèn)鞑W(xué)習(xí)算法進(jìn)行了詳盡的分析與介紹，并對(duì)這一算法的潛在能力進(jìn)行了深入探討。

BP網(wǎng)絡(luò)是一種具有3層或3層以上的階層型神經(jīng)網(wǎng)絡(luò)。上、下層之間各神經(jīng)元實(shí)現(xiàn)全連接，即下層的每一個(gè)神經(jīng)元與上層的每一個(gè)神經(jīng)元都實(shí)現(xiàn)權(quán)連接，而每一層各神經(jīng)元之間無(wú)連接。

網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)，當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，神經(jīng)元的激活值從輸入層經(jīng)各隱含層向輸出層傳播，在輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)。

在這之后，按減小期望輸出與實(shí)際輸出的誤差的方向，從輸入層經(jīng)各隱含層逐層修正各連接權(quán)，最后回到輸入層，故得名“誤差逆?zhèn)鞑W(xué)習(xí)算法”。

隨著這種誤差逆?zhèn)鞑バ拚牟粩噙M(jìn)行，網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷提高。

BP網(wǎng)絡(luò)主要應(yīng)用于以下幾個(gè)方面：1)函數(shù)逼近：用輸入模式與相應(yīng)的期望輸出模式學(xué)習(xí)一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)；2)模式識(shí)別：用一個(gè)特定的期望輸出模式將它與輸入模式聯(lián)系起來(lái)；3)分類(lèi)：把輸入模式以所定義的合適方式進(jìn)行分類(lèi)；4)數(shù)據(jù)壓縮：減少輸出矢量的維數(shù)以便于傳輸或存儲(chǔ)。

在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。

二、BP模型原理下面以三層BP網(wǎng)絡(luò)為例，說(shuō)明學(xué)習(xí)和應(yīng)用的原理。

1.數(shù)據(jù)定義P對(duì)學(xué)習(xí)模式(xp，dp)，p=1，2，…，P；輸入模式矩陣X[N][P]=(x1，x2，…，xP)；目標(biāo)模式矩陣d[M][P]=(d1，d2，…，dP)。

三層BP網(wǎng)絡(luò)結(jié)構(gòu)輸入層神經(jīng)元節(jié)點(diǎn)數(shù)S0=N，i=1，2，…，S0；隱含層神經(jīng)元節(jié)點(diǎn)數(shù)S1，j=1，2，…，S1；神經(jīng)元激活函數(shù)f1[S1]；權(quán)值矩陣W1[S1][S0]；偏差向量b1[S1]。

輸出層神經(jīng)元節(jié)點(diǎn)數(shù)S2=M，k=1，2，…，S2；神經(jīng)元激活函數(shù)f2[S2]；權(quán)值矩陣W2[S2][S1]；偏差向量b2[S2]。

學(xué)習(xí)參數(shù)目標(biāo)誤差?；初始權(quán)更新值Δ0；最大權(quán)更新值Δmax；權(quán)更新值增大倍數(shù)η+；權(quán)更新值減小倍數(shù)η-。

2.誤差函數(shù)定義對(duì)第p個(gè)輸入模式的誤差的計(jì)算公式為中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型y2kp為BP網(wǎng)的計(jì)算輸出。

3.BP網(wǎng)絡(luò)學(xué)習(xí)公式推導(dǎo)BP網(wǎng)絡(luò)學(xué)習(xí)公式推導(dǎo)的指導(dǎo)思想是，對(duì)網(wǎng)絡(luò)的權(quán)值W、偏差b修正，使誤差函數(shù)沿負(fù)梯度方向下降，直到網(wǎng)絡(luò)輸出誤差精度達(dá)到目標(biāo)精度要求，學(xué)習(xí)結(jié)束。

各層輸出計(jì)算公式輸入層y0i=xi，i=1，2，…，S0；隱含層中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型y1j=f1(z1j)，j=1，2，…，S1；輸出層中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型y2k=f2(z2k)，k=1，2，…，S2。

輸出節(jié)點(diǎn)的誤差公式中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型對(duì)輸出層節(jié)點(diǎn)的梯度公式推導(dǎo)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型E是多個(gè)y2m的函數(shù)，但只有一個(gè)y2k與wkj有關(guān)，各y2m間相互獨(dú)立。

其中中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型設(shè)輸出層節(jié)點(diǎn)誤差為δ2k=(dk-y2k)·f2′(z2k)，則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型同理可得中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型對(duì)隱含層節(jié)點(diǎn)的梯度公式推導(dǎo)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型E是多個(gè)y2k的函數(shù)，針對(duì)某一個(gè)w1ji，對(duì)應(yīng)一個(gè)y1j，它與所有的y2k有關(guān)。

因此，上式只存在對(duì)k的求和，其中中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型設(shè)隱含層節(jié)點(diǎn)誤差為中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型則中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型同理可得中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型4.采用彈性BP算法(RPROP)計(jì)算權(quán)值W、偏差b的修正值ΔW，Δb1993年德國(guó) Martin Riedmiller和Heinrich Braun 在他們的論文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——彈性BP算法(RPROP)。

這種方法試圖消除梯度的大小對(duì)權(quán)步的有害影響，因此，只有梯度的符號(hào)被認(rèn)為表示權(quán)更新的方向。

權(quán)改變的大小僅僅由權(quán)專(zhuān)門(mén)的“更新值” 確定中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型其中 表示在模式集的所有模式(批學(xué)習(xí))上求和的梯度信息，(t)表示t時(shí)刻或第t次學(xué)習(xí)。

權(quán)更新遵循規(guī)則：如果導(dǎo)數(shù)是正(增加誤差)，這個(gè)權(quán)由它的更新值減少。如果導(dǎo)數(shù)是負(fù)，更新值增加。中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型RPROP算法是根據(jù)局部梯度信息實(shí)現(xiàn)權(quán)步的直接修改。

對(duì)于每個(gè)權(quán)，我們引入它的各自的更新值 ，它獨(dú)自確定權(quán)更新值的大小。

這是基于符號(hào)相關(guān)的自適應(yīng)過(guò)程，它基于在誤差函數(shù)E上的局部梯度信息，按照以下的學(xué)習(xí)規(guī)則更新中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型其中0＜η-＜1＜η+。

在每個(gè)時(shí)刻，如果目標(biāo)函數(shù)的梯度改變它的符號(hào)，它表示最后的更新太大，更新值 應(yīng)由權(quán)更新值減小倍數(shù)因子η-得到減少；如果目標(biāo)函數(shù)的梯度保持它的符號(hào)，更新值應(yīng)由權(quán)更新值增大倍數(shù)因子η+得到增大。

為了減少自由地可調(diào)參數(shù)的數(shù)目，增大倍數(shù)因子η+和減小倍數(shù)因子η–被設(shè)置到固定值η+=1.2，η-=0.5，這兩個(gè)值在大量的實(shí)踐中得到了很好的效果。

RPROP算法采用了兩個(gè)參數(shù)：初始權(quán)更新值Δ0和最大權(quán)更新值Δmax當(dāng)學(xué)習(xí)開(kāi)始時(shí)，所有的更新值被設(shè)置為初始值Δ0，因?yàn)樗苯哟_定了前面權(quán)步的大小，它應(yīng)該按照權(quán)自身的初值進(jìn)行選擇，例如，Δ0=0.1(默認(rèn)設(shè)置)。

為了使權(quán)不至于變得太大，設(shè)置最大權(quán)更新值限制Δmax，默認(rèn)上界設(shè)置為Δmax=50.0。在很多實(shí)驗(yàn)中，發(fā)現(xiàn)通過(guò)設(shè)置最大權(quán)更新值Δmax到相當(dāng)小的值，例如Δmax=1.0。

我們可能達(dá)到誤差減小的平滑性能。5.計(jì)算修正權(quán)值W、偏差b第t次學(xué)習(xí)，權(quán)值W、偏差b的的修正公式W(t)=W(t-1)+ΔW(t)，b(t)=b(t-1)+Δb(t)，其中，t為學(xué)習(xí)次數(shù)。

6.BP網(wǎng)絡(luò)學(xué)習(xí)成功結(jié)束條件每次學(xué)習(xí)累積誤差平方和中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型每次學(xué)習(xí)平均誤差中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型當(dāng)平均誤差MSE＜ε，BP網(wǎng)絡(luò)學(xué)習(xí)成功結(jié)束。

7.BP網(wǎng)絡(luò)應(yīng)用預(yù)測(cè)在應(yīng)用BP網(wǎng)絡(luò)時(shí)，提供網(wǎng)絡(luò)輸入給輸入層，應(yīng)用給定的BP網(wǎng)絡(luò)及BP網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)值W、偏差b，網(wǎng)絡(luò)輸入經(jīng)過(guò)從輸入層經(jīng)各隱含層向輸出層的“順傳播”過(guò)程，計(jì)算出BP網(wǎng)的預(yù)測(cè)輸出。

8.神經(jīng)元激活函數(shù)f線(xiàn)性函數(shù)f(x)=x，f′(x)=1，f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。一般用于輸出層，可使網(wǎng)絡(luò)輸出任何值。

S型函數(shù)S(x)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。f′(x)=f(x)[1-f(x)]，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0， ]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網(wǎng)絡(luò)輸出，對(duì)較大的輸入，放大系數(shù)較小；而對(duì)較小的輸入，放大系數(shù)較大，所以可用來(lái)處理和逼近非線(xiàn)性的輸入/輸出關(guān)系。

在用于模式識(shí)別時(shí)，可用于輸出層，產(chǎn)生逼近于0或1的二值輸出。雙曲正切S型函數(shù)中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用于隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網(wǎng)絡(luò)輸出，對(duì)較大的輸入，放大系數(shù)較小；而對(duì)較小的輸入，放大系數(shù)較大，所以可用來(lái)處理和逼近非線(xiàn)性的輸入/輸出關(guān)系。

階梯函數(shù)類(lèi)型1中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。f′(x)=0。

類(lèi)型2中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。f′(x)=0。

斜坡函數(shù)類(lèi)型1中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類(lèi)型2中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。中國(guó)礦產(chǎn)資源評(píng)價(jià)新技術(shù)與評(píng)價(jià)新模型f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體算法1.三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b初始化總體算法(1)輸入?yún)?shù)X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；(2)計(jì)算輸入模式X[N][P]各個(gè)變量的最大值，最小值矩陣 Xmax[N]，Xmin[N]；(3)隱含層的權(quán)值W1，偏差b1初始化。

情形1：隱含層激活函數(shù)f( )都是雙曲正切S型函數(shù)1)計(jì)算輸入模式X[N][P]的每個(gè)變量的范圍向量Xrng[N]；2)計(jì)算輸入模式X的每個(gè)變量的范圍均值向量Xmid[N]；3)計(jì)算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計(jì)算W[S1][S0]，b[S1]；7)計(jì)算隱含層的初始化權(quán)值W1[S1][S0]；8)計(jì)算隱含層的初始化偏差b1[S1]；9))輸出W1[S1][S0]，b1[S1]。

情形2：隱含層激活函數(shù)f( )都是S型函數(shù)1)計(jì)算輸入模式X[N][P]的每個(gè)變量的范圍向量Xrng[N]；2)計(jì)算輸入模式X的每個(gè)變量的范圍均值向量Xmid[N]；3)計(jì)算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計(jì)算W[S1][S0]，b[S1]；7)計(jì)算隱含層的初始化權(quán)值W1[S1][S0]；8)計(jì)算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

情形3：隱含層激活函數(shù)f( )為其他函數(shù)的情形1)計(jì)算輸入模式X[N][P]的每個(gè)變量的范圍向量Xrng[N]；2)計(jì)算輸入模式X的每個(gè)變量的范圍均值向量Xmid[N]；3)計(jì)算W，b的幅度因子Wmag；4)產(chǎn)生[-1，1]之間均勻分布的S0×1維隨機(jī)數(shù)矩陣Rand[S1]；5)產(chǎn)生均值為0，方差為1的正態(tài)分布的S1×S0維隨機(jī)數(shù)矩陣Randnr[S1][S0]，隨機(jī)數(shù)范圍大致在[-1，1]；6)計(jì)算W[S1][S0]，b[S1]；7)計(jì)算隱含層的初始化權(quán)值W1[S1][S0]；8)計(jì)算隱含層的初始化偏差b1[S1]；9)輸出W1[S1][S0]，b1[S1]。

(4)輸出層的權(quán)值W2，偏差b2初始化1)產(chǎn)生[-1，1]之間均勻分布的S2×S1維隨機(jī)數(shù)矩陣W2[S2][S1]；2)產(chǎn)生[-1，1]之間均勻分布的S2×1維隨機(jī)數(shù)矩陣b2[S2]；3)輸出W2[S2][S1]，b2[S2]。

2.應(yīng)用彈性BP算法(RPROP)學(xué)習(xí)三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b總體算法函數(shù)：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)輸入?yún)?shù)P對(duì)模式(xp，dp)，p=1，2，…，P；三層BP網(wǎng)絡(luò)結(jié)構(gòu)；學(xué)習(xí)參數(shù)。

(2)學(xué)習(xí)初始化1) ；2)各層W，b的梯度值 ， 初始化為零矩陣。

(3)由輸入模式X求第一次學(xué)習(xí)各層輸出y0，y1，y2及第一次學(xué)習(xí)平均誤差MSE(4)進(jìn)入學(xué)習(xí)循環(huán)epoch=1(5)判斷每次學(xué)習(xí)誤差是否達(dá)到目標(biāo)誤差要求如果MSE＜?，則，跳出epoch循環(huán)，轉(zhuǎn)到(12)。

(6)保存第epoch-1次學(xué)習(xí)產(chǎn)生的各層W，b的梯度值 ， (7)求第epoch次學(xué)習(xí)各層W，b的梯度值 ， 1)求各層誤差反向傳播值δ；2)求第p次各層W，b的梯度值 ， ；3)求p=1，2，…，P次模式產(chǎn)生的W，b的梯度值 ， 的累加。

(8)如果epoch=1，則將第epoch-1次學(xué)習(xí)的各層W，b的梯度值 ， 設(shè)為第epoch次學(xué)習(xí)產(chǎn)生的各層W，b的梯度值 ， 。

(9)求各層W，b的更新1)求權(quán)更新值Δij更新；2)求W，b的權(quán)更新值 ， ；3)求第epoch次學(xué)習(xí)修正后的各層W，b。

(10)用修正后各層W、b，由X求第epoch次學(xué)習(xí)各層輸出y0，y1，y2及第epoch次學(xué)習(xí)誤差MSE(11)epoch=epoch+1，如果epoch≤MAX_EPOCH，轉(zhuǎn)到(5)；否則，轉(zhuǎn)到(12)。

(12)輸出處理1)如果MSE＜ε，則學(xué)習(xí)達(dá)到目標(biāo)誤差要求，輸出W1，b1，W2，b2。2)如果MSE≥ε，則學(xué)習(xí)沒(méi)有達(dá)到目標(biāo)誤差要求，再次學(xué)習(xí)。

(13)結(jié)束3.三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)預(yù)測(cè)總體算法首先應(yīng)用Train3lBP_RPROP( )學(xué)習(xí)三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)權(quán)值W、偏差b，然后應(yīng)用三層BP網(wǎng)絡(luò)(含輸入層，隱含層，輸出層)預(yù)測(cè)。

函數(shù)：Simu3lBP( )。1)輸入?yún)?shù)：P個(gè)需預(yù)測(cè)的輸入數(shù)據(jù)向量xp，p=1，2，…，P；三層BP網(wǎng)絡(luò)結(jié)構(gòu)；學(xué)習(xí)得到的各層權(quán)值W、偏差b。

2)計(jì)算P個(gè)需預(yù)測(cè)的輸入數(shù)據(jù)向量xp(p=1，2，…，P)的網(wǎng)絡(luò)輸出 y2[S2][P]，輸出預(yù)測(cè)結(jié)果y2[S2][P]。四、總體算法流程圖BP網(wǎng)絡(luò)總體算法流程圖見(jiàn)附圖2。

五、數(shù)據(jù)流圖BP網(wǎng)數(shù)據(jù)流圖見(jiàn)附圖1。

六、實(shí)例實(shí)例一 全國(guó)銅礦化探異常數(shù)據(jù)BP 模型分類(lèi)1.全國(guó)銅礦化探異常數(shù)據(jù)準(zhǔn)備在全國(guó)銅礦化探數(shù)據(jù)上用穩(wěn)健統(tǒng)計(jì)學(xué)方法選取銅異常下限值33.1，生成全國(guó)銅礦化探異常數(shù)據(jù)。

2.模型數(shù)據(jù)準(zhǔn)備根據(jù)全國(guó)銅礦化探異常數(shù)據(jù)，選取7類(lèi)33個(gè)礦點(diǎn)的化探數(shù)據(jù)作為模型數(shù)據(jù)。

這7類(lèi)分別是巖漿巖型銅礦、斑巖型銅礦、矽卡巖型、海相火山型銅礦、陸相火山型銅礦、受變質(zhì)型銅礦、海相沉積型銅礦，另添加了一類(lèi)沒(méi)有銅異常的模型(表8-1)。3.測(cè)試數(shù)據(jù)準(zhǔn)備全國(guó)化探數(shù)據(jù)作為測(cè)試數(shù)據(jù)集。

4.BP網(wǎng)絡(luò)結(jié)構(gòu)隱層數(shù)2，輸入層到輸出層向量維數(shù)分別為14，9、5、1。學(xué)習(xí)率設(shè)置為0.9，系統(tǒng)誤差1e-5。沒(méi)有動(dòng)量項(xiàng)。表8-1 模型數(shù)據(jù)表續(xù)表5.計(jì)算結(jié)果圖如圖8-2、圖8-3。

圖8-2圖8-3 全國(guó)銅礦礦床類(lèi)型BP模型分類(lèi)示意圖實(shí)例二 全國(guó)金礦礦石量品位數(shù)據(jù)BP 模型分類(lèi)1.模型數(shù)據(jù)準(zhǔn)備根據(jù)全國(guó)金礦儲(chǔ)量品位數(shù)據(jù)，選取4類(lèi)34個(gè)礦床數(shù)據(jù)作為模型數(shù)據(jù)，這4類(lèi)分別是綠巖型金礦、與中酸性浸入巖有關(guān)的熱液型金礦、微細(xì)浸染型型金礦、火山熱液型金礦(表8-2)。

2.測(cè)試數(shù)據(jù)準(zhǔn)備模型樣本點(diǎn)和部分金礦點(diǎn)金屬量、礦石量、品位數(shù)據(jù)作為測(cè)試數(shù)據(jù)集。3.BP網(wǎng)絡(luò)結(jié)構(gòu)輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學(xué)習(xí)率設(shè)置為0.8，系統(tǒng)誤差1e-4，迭代次數(shù)5000。

表8-2 模型數(shù)據(jù)4.計(jì)算結(jié)果結(jié)果見(jiàn)表8-3、8-4。表8-3 訓(xùn)練學(xué)習(xí)結(jié)果表8-4 預(yù)測(cè)結(jié)果(部分)續(xù)表。

?

總結(jié)

以上是生活随笔為你收集整理的三层神经网络的训练模型,神经网络训练模型描述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。