bp神经网络模型拓扑结构,bp神经网络模型结构图
傷寒、副傷寒流行預測模型(BP神經網絡)的建立
由于目前研究的各種數學模型或多或少存在使用條件的局限性,或使用方法的復雜性等問題,預測效果均不十分理想,距離實際應用仍有較大差距。
NNT是Matlab中較為重要的一個工具箱,在實際應用中,BP網絡用的最廣泛。
神經網絡具有綜合能力強,對數據的要求不高,適時學習等突出優點,其操作簡便,節省時間,網絡初學者即使不了解其算法的本質,也可以直接應用功能豐富的函數來實現自己的目的。
因此,易于被基層單位預防工作者掌握和應用。
以下幾個問題是建立理想的因素與疾病之間的神經網絡模型的關鍵:(1)資料選取應盡可能地選取所研究地區系統連續的因素與疾病資料,最好包括有疾病高發年和疾病低發年的數據。
在收集影響因素時,要抓住主要影響傷寒、副傷寒的發病因素。
(2)疾病發病率分級神經網絡預測法是按發病率高低來進行預測,在定義發病率等級時,要結合專業知識及當地情況而定,并根據網絡學習訓練效果而適時調整,以使網絡學習訓練達到最佳效果。
(3)資料處理問題在實踐中發現,資料的特征往往很大程度地影響網絡學習和訓練的穩定性,因此,數據的應用、納入、排出問題有待于進一步研究。
6.3.1人工神經網絡的基本原理人工神經網絡(ANN)是近年來發展起來的十分熱門的交叉學科,它涉及生物、電子、計算機、數學和物理等學科,有著廣泛的應用領域。
人工神經網絡是一種自適應的高度非線性動力系統,在網絡計算的基礎上,經過多次重復組合,能夠完成多維空間的映射任務。
神經網絡通過內部連接的自組織結構,具有對數據的高度自適應能力,由計算機直接從實例中學習獲取知識,探求解決問題的方法,自動建立起復雜系統的控制規律及其認知模型。
人工神經網絡就其結構而言,一般包括輸入層、隱含層和輸出層,不同的神經網絡可以有不同的隱含層數,但他們都只有一層輸入和一層輸出。
神經網絡的各層又由不同數目的神經元組成,各層神經元數目隨解決問題的不同而有不同的神經元個數。
6.3.2BP神經網絡模型BP網絡是在1985年由PDP小組提出的反向傳播算法的基礎上發展起來的,是一種多層次反饋型網絡(圖6.17),它在輸入和輸出之間采用多層映射方式,網絡按層排列,只有相鄰層的節點直接相互連接,傳遞之間信息。
在正向傳播中,輸入信息從輸入層經隱含層逐層處理,并傳向輸出層,每層神經元的狀態只影響下一層神經元的狀態。
如果輸出層不能得到期望的輸出結果,則轉入反向傳播,將誤差信號沿原來的連同通路返回,通過修改各層神經元的權值,使誤差信號最小。
BP網絡的學習算法步驟如下(圖6.18):圖6.17BP神經網絡示意圖圖6.18BP算法流程圖第一步:設置初始參數ω和θ,(ω為初始權重,θ為臨界值,均隨機設為較小的數)。
第二步:將已知的樣本加到網絡上,利用下式可算出他們的輸出值yi,其值為巖溶地區地下水與環境的特殊性研究式中:xi為該節點的輸入;ωij為從I到j的聯接權;θj為臨界值;yj為實際算出的輸出數據。
第三步:將已知輸出數據與上面算出的輸出數據之差(dj-yj)調整權系數ω,調整量為ΔWij=ηδjxj式中:η為比例系數;xj為在隱節點為網絡輸入,在輸出點則為下層(隱)節點的輸出(j=1,2…,n);dj為已知的輸出數據(學習樣本訓練數據);δj為一個與輸出偏差相關的值,對于輸出節點來說有δj=ηj(1-yj)(dj-yj)對于隱節點來說,由于它的輸出無法進行比較,所以經過反向逐層計算有巖溶地區地下水與環境的特殊性研究其中k指要把上層(輸出層)節點取遍。
誤差δj是從輸出層反向逐層計算的。各神經元的權值調整后為ωij(t)=ωij(t-1)+Vωij式中:t為學習次數。
這個算法是一個迭代過程,每一輪將各W值調整一遍,這樣一直迭代下去,知道輸出誤差小于某一允許值為止,這樣一個好的網絡就訓練成功了,BP算法從本質上講是把一組樣本的輸入輸出問題變為一個非線性優化問題,它使用了優化技術中最普遍的一種梯度下降算法,用迭代運算求解權值相當于學習記憶問題。
6.3.3BP神經網絡模型在傷寒、副傷寒流行與傳播預測中的應用傷寒、副傷寒的傳播與流行同環境之間有著一定的聯系。
根據桂林市1990年以來鄉鎮為單位的傷寒、副傷寒疫情資料,傷寒、副傷寒疫源地資料,結合現有資源與環境背景資料(桂林市行政區劃、土壤、氣候等)和社會經濟資料(經濟、人口、生活習慣等統計資料)建立人工神經網絡數學模型,來逼近這種規律。
6.3.3.1模型建立(1)神經網絡的BP算法BP網絡是一種前饋型網絡,由1個輸入層、若干隱含層和1個輸出層構成。
如果輸入層、隱含層和輸出層的單元個數分別為n,q1,q2,m,則該三層網絡網絡可表示為BP(n,q1,q2,m),利用該網絡可實現n維輸入向量Xn=(X1,X2,…,Xn)T到m維輸出向量Ym=(Y1,Y2,…,Ym)T的非線性映射。
輸入層和輸出層的單元數n,m根據具體問題確定。
(2)樣本的選取將模型的輸入變量設計為平均溫度、平均降雨量、巖石性質、巖溶發育、地下水類型、飲用水類型、正規自來水供應比例、集中供水比例8個輸入因子(表6.29),輸出單元為傷寒副傷寒的發病率等級,共一個輸出單元。
其中q1,q2的值根據訓練結果進行選擇。表6.29桂林市傷寒副傷寒影響因素量化表通過分析,選取在傷寒副傷寒有代表性的縣鎮在1994~2001年的環境參評因子作為樣本進行訓練。
利用聚類分析法對疫情進行聚類分級(Ⅰ、Ⅱ、Ⅲ、Ⅳ),傷寒副傷寒發病最高級為Ⅳ(BP網絡中輸出定為4),次之的為Ⅲ(BP網絡中輸出定為3),以此類推,最低為Ⅰ(BP網絡中輸出定為1)(3)數據的歸一化處理為使網絡在訓練過程中易于收斂,我們對輸入數據進行了歸一化處理,并將輸入的原始數據都化為0~1之間的數。
如將平均降雨量的數據乘以0.0001;將平均氣溫的數據乘以0.01;其他輸入數據也按類似的方法進行歸一化處理。
(4)模型的算法過程假設共有P個訓練樣本,輸入的第p個(p=1,2,…,P)訓練樣本信息首先向前傳播到隱含單元上。
經過激活函數f(u)的作用得到隱含層1的輸出信息:巖溶地區地下水與環境的特殊性研究經過激活函數f(u)的作用得到隱含層2的輸出信息:巖溶地區地下水與環境的特殊性研究激活函數f(u)我們這里采用Sigmoid型,即f(u)=1/[1+exp(-u)](6.5)隱含層的輸出信息傳到輸出層,可得到最終輸出結果為巖溶地區地下水與環境的特殊性研究以上過程為網絡學習的信息正向傳播過程。
另一個過程為誤差反向傳播過程。
如果網絡輸出與期望輸出間存在誤差,則將誤差反向傳播,利用下式來調節網絡權重和閾值:巖溶地區地下水與環境的特殊性研究式中:Δω(t)為t次訓練時權重和閾值的修正;η稱為學習速率,0<η<1;E為誤差平方和。
巖溶地區地下水與環境的特殊性研究反復運用以上兩個過程,直至網絡輸出與期望輸出間的誤差滿足一定的要求。該模型算法的缺點:1)需要較長的訓練時間。
由于一些復雜的問題,BP算法可能要進行幾小時甚至更長的時間的訓練,這主要是由于學習速率太小造成的,可采用變化的學習速率或自適應的學習速率加以改進。2)完全不能訓練。
主要表現在網絡出現的麻痹現象上,在網絡的訓練過程中,當其權值調的過大,可能使得所有的或大部分神經元的加權總和n偏大,這使得激活函數的輸入工作在S型轉移函數的飽和區,從而導致其導數f′(n)非常小,從而使得對網絡權值的調節過程幾乎停頓下來。
3)局部極小值。BP算法可以使網絡權值收斂到一個解,但它并不能保證所求為誤差超平面的全局最小解,很可能是一個局部極小解。
這是因為BP算法采用的是梯度下降法,訓練從某一起點沿誤差函數的斜面逐漸達到誤差的最小值。
考慮到以上算法的缺點,對模型進行了兩方面的改進:(1)附加動量法為了避免陷入局部極小值,對模型進行了改進,應用了附加動量法。
附加動量法在使網絡修正及其權值時,不僅考慮誤差在梯度上的作用,而且考慮在誤差曲面上變化趨勢的影響,其作用如同一個低通濾波器,它允許網絡忽略網絡上的微小變化特性。
在沒有附加動量的作用下,網絡可能陷入淺的局部極小值,利用附加動量的作用則有可能滑過這些極小值。
該方法是在反向傳播法的基礎上在每一個權值的變化上加上一項正比于前次權值變化量的值,并根據反向傳播法來產生心的權值變化。
促使權值的調節向著誤差曲面底部的平均方向變化,從而防止了如Δω(t)=0的出現,有助于使網絡從誤差曲面的局部極小值中跳出。
這種方法主要是把式(6.7)改進為巖溶地區地下水與環境的特殊性研究式中:A為訓練次數;a為動量因子,一般取0.95左右。
訓練中對采用動量法的判斷條件為巖溶地區地下水與環境的特殊性研究(2)自適應學習速率對于一個特定的問題,要選擇適當的學習速率不是一件容易的事情。
通常是憑經驗或實驗獲取,但即使這樣,對訓練開始初期功效較好的學習速率,不見得對后來的訓練合適。
所以,為了盡量縮短網絡所需的訓練時間,采用了學習速率隨著訓練變化的方法來找到相對于每一時刻來說較差的學習速率。
下式給出了一種自適應學習速率的調整公式:巖溶地區地下水與環境的特殊性研究通過以上兩個方面的改進,訓練了一個比較理想的網絡,將動量法和自適應學習速率結合起來,效果要比單獨使用要好得多。
6.3.3.2模型的求解與預測采用包含了2個隱含層的神經網絡BP(4,q1,q2,1),隱含層單元數q1,q2與所研究的具體問題有關,目前尚無統一的確定方法,通常根據網絡訓練情況采用試錯法確定。
在滿足一定的精度要求下一般認小的數值,以改善網絡的概括推論能力。
在訓練中網絡的收斂采用輸出值Ykp與實測值tp的誤差平方和進行控制:巖溶地區地下水與環境的特殊性研究1)將附加動量法和自適應學習速率結合應用,分析桂林市36個鄉鎮地質條件各因素對傷寒副傷寒發病等級的影響。
因此訓練樣本為36個,第一個隱含層有19個神經元,第二個隱含層有11個神經元,學習速率為0.001。A.程序(略)。B.網絡訓練。
在命令窗口執行運行命令,網絡開始學習和訓練,其學習和訓練過程如下(圖6.19)。圖6.19神經網絡訓練過程圖C.模型預測。
a.輸入未參與訓練的鄉鎮(洞井鄉、兩水鄉、延東鄉、四塘鄉、嚴關鎮、靈田鄉)地質條件數據。b.預測。程序運行后網絡輸出預測值a3,與已知的實際值進行比較,其預測結果整理后見(表6.30)。
經計算,對6個鄉鎮傷寒副傷寒發病等級的預測符合率為83.3%。表6.30神經網絡模型預測結果與實際結果比較c.地質條件改進方案。
在影響疾病發生的地質條件中,大部分地質條件是不會變化的,而改變發病地區的飲用水類型是可以人為地通過改良措施加以實施的一個因素。
因此,以靈田鄉為例對發病率較高的鄉鎮進行分析,改變其飲用水類型,來看發病等級的變化情況。
表6.31顯示,在其他地質條件因素不變的情況下,改變當地的地下水類型(從原來的巖溶水類型改變成基巖裂隙水)則將發病等級從原來的最高級4級,下降為較低的2級,效果是十分明顯的。
因此,今后在進行傷寒副傷寒疾病防治的時候,可以通過改變高發區飲用水類型來客觀上減少疫情的發生。
表6.31靈田鄉改變飲用水類型前后的預測結果2)選取桂林地區1994~2000年月平均降雨量、月平均溫度作為輸入數據矩陣,進行樣本訓練,設定不同的隱含層單元數,對各月份的數據進行BP網絡訓練。
在隱含層單元數q1=13,q2=9,經過46383次數的訓練,誤差達到精度要求,學習速率0.02。A.附加動量法程序(略)。B.網絡訓練。
在命令窗口執行運行命令,網絡開始學習和訓練,其學習和訓練過程如下(圖6.20)。C.模型預測。a.輸入桂林市2001年1~12月桂林市各月份的平均氣溫和平均降雨量。預測程度(略)。b.預測。
程序運行后網絡輸出預測值a2,與已知的實際值進行比較,其預測結果整理后見(表6.32)。經計算,對2001年1~12月傷寒副傷寒發病等級進行預測,12個預測結果中,有9個符合,符合率為75%。
圖6.20神經網絡訓練過程圖表6.32神經網絡模型預測結果與實際值比較6.3.3.3模型的評價本研究采用BP神經網絡對傷寒、副傷寒發病率等級進行定量預測,一方面引用數量化理論對不確定因素進行量化處理;另一方面利用神經網絡優點,充分考慮各影響因素與發病率之間的非線性映射。
實際應用表明,神經網絡定量預測傷寒、副傷寒發病率是理想的。其主要優點有:1)避免了模糊或不確定因素的分析工作和具體數學模型的建立工作。2)完成了輸入和輸出之間復雜的非線性映射關系。
3)采用自適應的信息處理方式,有效減少人為的主觀臆斷性。雖然如此,但仍存在以下缺點:1)學習算法的收斂速度慢,通常需要上千次或更多,訓練時間長。2)從數學上看,BP算法有可能存在局部極小問題。
本模型具有廣泛的應用范圍,可以應用在很多領域。從上面的結果可以看出,實際和網絡學習數據總體較為接近,演化趨勢也基本一致。
說明選定的氣象因子、地質條件因素為神經單元獲得的傷寒、副傷寒發病等級與實際等級比較接近,從而證明傷寒、副傷寒流行與地理因素的確存在較密切的相關性。
(1)BP算法的學習過程中有兩個過程是什么?(2)寫出BP神經網絡的數學模型,并以20
bp(backpropagation)網絡是1986年由rumelhart和mccelland為首的科學家小組提出,是一種按誤差逆傳播算法訓練的多層前饋網絡,是目前應用最廣泛的神經網絡模型之一AI愛發貓 www.aifamao.com。
bp網絡能學習和存貯大量的輸入-輸出模式映射關系,而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法,通過反向傳播來不斷調整網絡的權值和閾值,使網絡的誤差平方和最小。
bp神經網絡模型拓撲結構包括輸入層(input)、隱層(hidelayer)和輸出層(outputlayer)。人工神經網絡就是模擬人思維的第二種方式。
這是一個非線性動力學系統,其特色在于信息的分布式存儲和并行協同處理。雖然單個神經元的結構極其簡單,功能有限,但大量神經元構成的網絡系統所能實現的行為卻是極其豐富多彩的。
人工神經網絡首先要以一定的學習準則進行學習,然后才能工作。現以人工神經網絡對手寫“a”、“b”兩個字母的識別為例進行說明,規定當“a”輸入網絡時,應該輸出“1”,而當輸入為“b”時,輸出為“0”。
所以網絡學習的準則應該是:如果網絡作出錯誤的的判決,則通過網絡的學習,應使得網絡減少下次犯同樣錯誤的可能性。
首先,給網絡的各連接權值賦予(0,1)區間內的隨機值,將“a”所對應的圖象模式輸入給網絡,網絡將輸入模式加權求和、與門限比較、再進行非線性運算,得到網絡的輸出。
在此情況下,網絡輸出為“1”和“0”的概率各為50%,也就是說是完全隨機的。這時如果輸出為“1”(結果正確),則使連接權值增大,以便使網絡再次遇到“a”模式輸入時,仍然能作出正確的判斷。
如果輸出為“0”(即結果錯誤),則把網絡連接權值朝著減小綜合輸入加權值的方向調整,其目的在于使網絡下次再遇到“a”模式輸入時,減小犯同樣錯誤的可能性。
如此操作調整,當給網絡輪番輸入若干個手寫字母“a”、“b”后,經過網絡按以上學習方法進行若干次學習后,網絡判斷的正確率將大大提高。
這說明網絡對這兩個模式的學習已經獲得了成功,它已將這兩個模式分布地記憶在網絡的各個連接權值上。當網絡再次遇到其中任何一個模式時,能夠作出迅速、準確的判斷和識別。
一般說來,網絡中所含的神經元個數越多,則它能記憶、識別的模式也就越多。如圖所示拓撲結構的單隱層前饋網絡,一般稱為三層前饋網或三層感知器,即:輸入層、中間層(也稱隱層)和輸出層。
它的特點是:各層神經元僅與相鄰層神經元之間相互全連接,同層內神經元之間無連接,各層神經元之間無反饋連接,構成具有層次結構的前饋型神經網絡系統。
單計算層前饋神經網絡只能求解線性可分問題,能夠求解非線性問題的網絡必須是具有隱層的多層神經網絡。神經網絡的研究內容相當廣泛,反映了多學科交叉技術領域的特點。
主要的研究工作集中在以下幾個方面:(1)生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網絡、神經系統的生物原型結構及其功能機理。(2)建立理論模型。
根據生物原型的研究,建立神經元、神經網絡的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。(3)網絡模型與算法研究。
在理論模型研究的基礎上構作具體的神經網絡模型,以實現計算機模擬或準備制作硬件,包括網絡學習算法的研究。這方面的工作也稱為技術模型研究。(4)人工神經網絡應用系統。
在網絡模型與算法研究的基礎上,利用人工神經網絡組成實際的應用系統,例如,完成某種信號處理或模式識別的功能、構作專家系統、制成機器人等等。
縱觀當代新興科學技術的發展歷史,人類在征服宇宙空間、基本粒子,生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到,探索人腦功能和神經網絡的研究將伴隨著重重困難的克服而日新月異。
神經網絡可以用作分類、聚類、預測等。神經網絡需要有一定量的歷史數據,通過歷史數據的訓練,網絡可以學習到數據中隱含的知識。
在你的問題中,首先要找到某些問題的一些特征,以及對應的評價數據,用這些數據來訓練神經網絡。雖然bp網絡得到了廣泛的應用,但自身也存在一些缺陷和不足,主要包括以下幾個方面的問題。
首先,由于學習速率是固定的,因此網絡的收斂速度慢,需要較長的訓練時間。
對于一些復雜問題,bp算法需要的訓練時間可能非常長,這主要是由于學習速率太小造成的,可采用變化的學習速率或自適應的學習速率加以改進。
其次,bp算法可以使權值收斂到某個值,但并不保證其為誤差平面的全局最小值,這是因為采用梯度下降法可能產生一個局部最小值。對于這個問題,可以采用附加動量法來解決。
再次,網絡隱含層的層數和單元數的選擇尚無理論上的指導,一般是根據經驗或者通過反復實驗確定。因此,網絡往往存在很大的冗余性,在一定程度上也增加了網絡學習的負擔。最后,網絡的學習和記憶具有不穩定性。
也就是說,如果增加了學習樣本,訓練好的網絡就需要從頭開始訓練,對于以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。
matlab BP神經網絡 performance 圖這五條線的詳細解釋
圖上的三個彩色實線分別是:每一代BP訓練過程的MSE指標的性能,每一代BP交叉驗證過程的MSE指標的性能以及BP測試的MSE指標在每一代中執行的過程。
特別是,應該注意內部的TEST紅線,這是BP計算/訓練結果。BEST虛線表示當BP網絡被訓練到第八代時,BP訓練結果是最佳的。
GOAL虛線是在編程或直接使用MATLAB的ANN工具箱訓練此BP時設置的網絡容量訓練停止目標(一個)。
擴展資料:BP(BackPropagation)神經網絡是由Rumelhart和McCelland領導的一組科學家于1986年提出的。
BP(BackPropagation)是由反向傳播誤差反向傳播算法訓練的多層前饋網絡,是使用最廣泛的神經網絡模型之一。
BP網絡可以學習并存儲大量的輸入-輸出模式映射關系,而無需事先揭示描述這些映射關系的數學方程式。
BP網絡的學習規則是使用最速下降法,并通過反向傳播來不斷調整網絡的權重和閾值,以最小化網絡的平方誤差之和。BP神經網絡模型的拓撲包括輸入層,隱藏層和輸出層。
極端氣溫、降雨-洪水模型(BP神經網絡)的建立
極端氣溫、降雨與洪水之間有一定的聯系。
根據1958~2007年廣西西江流域極端氣溫、極端降雨和梧州水文站洪水數據,以第5章相關分析所確定的顯著影響梧州水文站年最大流量的測站的相應極端氣候因素(表4.22)為輸入,建立人工神經網絡模型。
4.5.1.1BP神經網絡概述(1)基于BP算法的多層前饋網絡模型采用BP算法的多層前饋網絡是至今為止應用最廣泛的神經網絡,在多層的前饋網的應用中,如圖4.20所示的三層前饋網的應用最為普遍,其包括了輸入層、隱層和輸出層。
圖4.20典型的三層BP神經網絡結構在正向傳播中,輸入信息從輸入層經隱含層逐層處理,并傳向輸出層。
如果輸出層不能得到期望的輸出結果,則轉入反向傳播,將誤差信號沿原來的連同通路返回,通過修改各層神經元的權值,使得誤差最小。BP算法流程如圖4.21所示。
圖4.21BP算法流程圖容易看出,BP學習算法中,各層權值調整均由3個因素決定,即學習率、本層輸出的誤差信號以及本層輸入信號y(或x)。
其中,輸出層誤差信號同網絡的期望輸出與實際輸出之差有關,直接反映了輸出誤差,而各隱層的誤差信號與前面各層的誤差信號都有關,是從輸出層開始逐層反傳過來的。
1988年,Cybenko指出兩個隱含層就可表示輸入圖形的任意輸出函數。
如果BP網絡只有兩個隱層,且輸入層、第一隱含層、第二隱層和輸出層的單元個數分別為n,p,q,m,則該網絡可表示為BP(n,p,q,m)。
(2)研究區極端氣溫、極端降雨影響年最大流量過程概化極端氣溫、極端降雨影響年最大流量的過程極其復雜,從極端降雨到年最大流量,中間要經過蒸散發、分流、下滲等環節,受到地形、地貌、下墊面、土壤地質以及人類活動等多種因素的影響。
可將一個極端氣候-年最大流量間復雜的水過程概化為小尺度的水系統,該水系統的主要影響因子可通過對年最大流量影響顯著的站點的極端氣溫和極端降雨體現出來,而其中影響不明顯的站點可忽略,從而使問題得以簡化。
BP神經網絡是一個非線形系統,可用于逼近非線形映射關系,也可用于逼近一個極為復雜的函數關系。極端氣候-年最大流量水系統是一個非常復雜的映射關系,可將之概化為一個系統。
BP神經網絡與研究流域的極端氣候-年最大流量水系統的結構是相似的,利用BP神經網絡,對之進行模擬逼近。
(3)隱含層單元數的確定隱含層單元數q與所研究的具體問題有關,目前尚無統一的確定方法,通常根據網絡訓練情況采用試錯法確定。
在訓練中網絡的收斂采用輸出值Ykp與實測值tp的誤差平方和進行控制變環境條件下的水資源保護與可持續利用研究作者認為,雖然現今的BP神經網絡還是一個黑箱模型,其參數沒有水文物理意義,在本節的研究過程中,將嘗試著利用極端氣候空間分析的結果來指導隱含層神經元個數的選取。
(4)傳遞函數的選擇BP神經網絡模型算法存在需要較長的訓練時間、完全不能訓練、易陷入局部極小值等缺點,可通過對模型附加動量項或設置自適應學習速率來改良。
本節采用MATLAB工具箱中帶有自適應學習速率進行反向傳播訓練的traingdm( )函數來實現。
(5)模型數據的歸一化處理由于BP網絡的輸入層物理量及數值相差甚遠,為了加快網絡收斂的速度,使網絡在訓練過程中易于收斂,對輸入數據進行歸一化處理,即將輸入的原始數據都化為0~1之間的數。
本節將年極端最高氣溫的數據乘以0.01;將極端最低氣溫的數據乘以0.1;年最大1d、3d、7d降雨量的數據乘以0.001;梧州水文站年最大流量的數據乘以0.00001,其他輸入數據也按類似的方法進行歸一化處理。
(6)年最大流量的修正梧州水文站以上的流域集水面積為32.70萬km2,廣西境內流域集水面積為20.24萬km2,廣西境內流域集水面積占梧州水文站以上的流域集水面積的61.91%。
因此,選取2003~2007年梧州水文站年最大流量和紅水河的天峨水文站年最大流量,分別按式4.10計算每年的貢獻率(表4.25),取其平均值作為廣西西江流域極端降雨對梧州水文站年最大流量的平均貢獻率,最后確定平均貢獻率為76.88%。
變環境條件下的水資源保護與可持續利用研究表4.252003~2007年極端降雨對梧州水文站年最大流量的貢獻率建立“年極端氣溫、降雨與梧州年最大流量模型”時,應把平均貢獻率與梧州水文站年最大流量的乘積作為模型輸入的修正年最大流量,而預測的年最大流量應該為輸出的年最大流量除以平均貢獻率76.88%,以克服極端氣溫和降雨研究范圍與梧州水文站集水面積不一致的問題。
4.5.1.2年極端氣溫、年最大1d降雨與梧州年最大流量的BP神經網絡模型(1)模型的建立以1958~1997年年極端最高氣溫、年極端最低氣溫、年最大1d降雨量與梧州水文站年最大流量作為學習樣本擬合、建立“年極端氣溫、年最大1d降雨-梧州年最大流量BP神經網絡模型”。
以梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,榜圩、馬隴、三門、黃冕、沙街、勾灘、天河、百壽、河池、貴港、金田、平南、大化、桂林、修仁、五將雨量站的年最大1d降雨量為輸入,梧州水文站年最大流量為輸出,隱含層層數取2,建立(19,p,q,1)BP神經網絡模型,其中神經元數目p,q經試算分別取16和3,第一隱層、第二隱層的神經元采用tansig傳遞函數,輸出層的神經元采用線性傳遞函數,訓練函數選用traingdm,學習率取0.1,動量項取0.9,目標取0.0001,最大訓練次數取200000。
BP網絡模型參數見表4.26,結構如圖4.22所示。
圖4.22年極端氣溫、年最大1d降雨-梧州年最大流量BP模型結構圖表4.26BP網絡模型參數一覽表從結構上分析,梧州水文站年最大流量產生過程中,年最高氣溫、年最低氣溫和各支流相應的流量都有其閾值,而極端氣溫和極端降雨是其輸入,年最大流量是其輸出,這類似于人工神經元模型中的閾值、激活值、輸出等器件。
輸入年最大1d降雨時選用的雨量站分布在14條支流上(表4.27),極端降雨發生后,流經14條支流匯入梧州,在這一過程中極端氣溫的變化影響極端降雨的蒸散發,選用的雨量站分布在年最大1d降雨四個自然分區的Ⅱ、Ⅲ、Ⅳ3個區。
該過程可與BP神經網絡結構進行類比(表4.28),其中,14條支流相當于第一隱含層中的14個神經元,年最高氣溫和年最低氣溫相當于第一隱含層中的2個神經元,年最大1d降雨所在的3個分區相當于第二隱含層的3個神經元,年最高氣溫、年最低氣溫的影響值和各支流流量的奉獻值相當于隱含層中人工神經元的閾值,從整體上來說,BP神經網絡的結構已經灰箱化。
表4.27選用雨量站所在支流一覽表表4.28BP神經網絡構件物理意義一覽表(2)訓練效果分析訓練樣本為40個,經過113617次訓練,達到精度要求。
在命令窗口執行運行命令,網絡開始學習和訓練,其訓練過程如圖4.23所示,訓練結果見表4.29和圖4.24。
表4.29年最大流量訓練結果圖4.23神經網絡訓練過程圖圖4.24年最大流量神經網絡模型訓練結果從圖4.26可知,訓練后的BP網絡能較好地逼近給定的目標函數。
從訓練樣本檢驗結果(表4.5)可得:1958~1997年40年中年最大流量模擬值與實測值的相對誤差小于10%和20%的分別為39年,40年,合格率為100%。
說明“年極端氣溫、年最大1d降雨-梧州年最大流量預測模型”的實際輸出與實測結果誤差很小,該模型的泛化能力較好,模擬結果較可靠。
(3)模型預測檢驗把1998~2007年梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,榜圩、馬隴、三門、黃冕、沙街、勾灘、天河、百壽、河池、貴港、金田、平南、大化、桂林、修仁、五將雨量站的年最大1d降雨量輸入到“年極端氣溫、年最大1d降雨梧州年最大流量BP神經網絡模型”。
程序運行后網絡輸出預測值與已知的實際值進行比較,其預測檢驗結果見圖4.25,表4.30。
圖4.25年最大流量神經網絡模型預測檢驗結果表4.30神經網絡模型預測結果與實際結果比較從預測檢驗結果可知:1998~2007年10年中年最大流量模擬值與實測值的相對誤差小于20%的為9年,合格率為90%,效果較好。
4.5.1.3年極端氣溫、年最大7d降雨與梧州年最大流量的BP神經網絡模型(1)模型的建立以1958~1997年年極端最高氣溫、年極端最低氣溫、年最大7d降雨量和梧州水文站年最大流量作為學習樣本來擬合、建立“年極端氣溫、年最大7d降雨-梧州年最大流量BP神經網絡模型”。
以梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,鳳山、都安、馬隴、沙街、大湟江口、大安、大化、陽朔、五將雨量站的年最大7d降雨量為輸入,梧州水文站年最大流量為輸出,隱含層層數取2,建立(12,p,q,1)BP神經網絡模型,其中,神經元數目p,q經試算分別取10和4,第一隱層、第二隱層的神經元采用tansig傳遞函數,輸出層的神經元采用線性傳遞函數,訓練函數選用traingdm,學習率取0.1,動量項取0.9,目標取0.0001,最大訓練次數取200000。
BP網絡模型參數見表4.31,結構如圖4.26所示。
表4.31BP網絡模型參數一覽表圖4.26年極端氣溫、年最大7d降雨-梧州年最大流量BP模型結構圖本節輸入年最大7d降雨時選用的雨量站分布在8條支流上(表4.32),在發生極端降雨后,流經8條支流匯入梧州,在這一過程中極端氣溫的變化影響極端降雨的蒸散發,且選用的雨量站分布在年最大7d降雨四個自然分區的Ⅰ、Ⅱ、Ⅲ、Ⅳ4個區中。
該過程可與BP神經網絡結構進行類比(表4.33),其中,8條支流相當于第一隱含層中的8個神經元,年最高氣溫和年最低氣溫相當于第一隱含層中的2個神經元,年最大7d降雨所在的4個分區相當于第二隱含層的4個神經元,整體上來說,BP神經網絡的結構已經灰箱化。
表4.32選用雨量站所在支流一覽表表4.33BP神經網絡構件物理意義一覽表(2)訓練效果分析訓練樣本為40個,經過160876次的訓練,達到精度要求,在命令窗口執行運行命令,網絡開始學習和訓練,其訓練過程如圖4.27所示,訓練結果見表4.34,圖4.28。
圖4.27神經網絡訓練過程圖表4.34年最大流量訓練結果圖4.28年最大流量神經網絡模型訓練結果從圖4.28可知,訓練后的BP網絡能較好地逼近給定的目標函數。
由訓練樣本檢驗結果(表4.34)可得:1958~1997年40年中年最大流量模擬值與實測值的相對誤差小于10%和20%的,分別為38年、40年,合格率為100%。
說明“年極端氣溫、年最大7d降雨-梧州年最大流量BP神經網絡模型”的泛化能力較好,模擬的結果較可靠。
(3)模型預測檢驗把1998~2007年梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,鳳山、都安、馬隴、沙街、大湟江口、大安、大化、陽朔、五將雨量站的年最大7d降雨量輸入到“年極端氣溫、年最大7d降雨-梧州年最大流量BP神經網絡模型”。
程序運行后網絡輸出預測值與已知的實際值進行比較,其預測結果見圖4.29和表4.35。
圖4.29年最大流量神經網絡模型預測檢驗結果表4.35神經網絡模型預測結果與實際結果比較由預測檢驗結果可知:1998~2007年10年中年最大流量模擬值與實測值的相對誤差小于20%的為7年,合格率為70%,效果較好。
4.5.1.4梧州年最大流量-年最高水位的BP神經網絡模型(1)模型的建立以1941~1997年梧州水文站的年最大流量與年最高水位作為學習樣本來擬合、建立梧州水文站的“年最大流量-年最高水位BP神經網絡模型”。
以年最大流量為輸入,年最高水位為輸出,隱含層層數取1,建立(1,q,1)BP神經網絡模型,其中,神經元數目q經試算取7,隱含層、輸出層的神經元采用線性傳遞函數,訓練函數選用traingdm,學習率取0.1,動量項取0.9,目標取0.00001,最大訓練次數取200000。
BP網絡模型參數見表4.36,結構如圖4.30所示。
表4.36BP網絡模型參數一覽表圖4.30梧州年最大流量—年最高水位BP模型結構圖廣西西江流域主要河流有南盤江、紅水河、黔潯江、郁江、柳江、桂江、賀江。
7條主要河流相當于隱含層中的7個神經元(表4.37),整體上來說,BP神經網絡的結構已經灰箱化。
表4.37BP神經網絡構件物理意義一覽表(2)訓練效果分析訓練樣本為57個,經過3327次訓練,誤差下降梯度已達到最小值,但誤差為3.00605×10-5,未達到精度要求。
在命令窗口執行運行命令,網絡開始學習和訓練,其訓練過程如圖4.31所示,訓練結果見圖4.32和表4.38。
表4.38年最高水位訓練結果從圖4.32和表4.19可看出,訓練后的BP網絡能較好地逼近給定的目標函數。
對于訓練樣本,從檢驗結果可知:1941~1997年57年中年最高水位模擬值與實測值的相對誤差小于10%和20%的分別為56a,57a,合格率為100%。
說明“年最大流量-年最高水位BP神經網絡模型”的實際輸出與實測結果誤差很小,該模型的泛化能力較好,模擬的結果比較可靠。
圖4.31神經網絡訓練過程圖圖4.32年最高水位神經網絡模型訓練結果(3)模型預測檢驗把1998~2007年梧州水文站年最大流量輸入到“年最大流量-年最高水位BP神經網絡模型”。
程序運行后網絡輸出預測值與已知的實際值進行比較,其預測結果見圖4.33,表4.39。
表4.39神經網絡模型預測結果與實際結果比較從預測檢驗結果可知:1998~2007年10年中,年最高水位模擬值與實測值的相對誤差小于20%的為10年,合格率為100%,效果較好。
圖4.33年最高水位量神經網絡模型預測檢驗結果。
建立BP神經網絡地面沉降預測模型
。
基坑降水引起地面沉降的BP神經網絡預測模型建模過程如下:(1)樣本選擇因基坑降水引起的地面沉降量和距離基坑的距離關系密切,因此建模選用“基坑降水引起沉降工程數據(第二類)”(見表4.1)中的相關數據作為樣本進行學習訓練和檢驗。
(2)BP神經網絡結構設計對于BP網絡,對于任何在閉區間內的一個連續函數都可以用單隱層的BP網絡逼近,因而一個三層BP網絡就可以完成任意的n維到m維的映射。
根據網絡結構簡單化的原則,確定采用三層BP網絡結構,即輸入層為沉降點距基坑的距離L(m)、等效壓縮模量E(MPa)、水位降深H(m)和支護剛度n四個參數,輸出層為地面累積沉降量(mm),隱層層數為1層。
隱層的神經元數目選擇是一個十分復雜的問題,往往需要根據設計者的經驗和多次實驗來確定,因而不存在一個理想的解析式來表示。隱單元的數目與問題的要求,與輸入、輸出單元的數目有直接的關系。
隱單元數目太多會導致學習時間過長,誤差不一定最佳,也會導致容錯性差、不能識別以前沒有看到的樣本,因此一定存在一個最佳的隱單元數。
研究通過一次編程比較了隱層神經元個數分別為5、10、15、20、25、30、40時訓練速度及檢驗精度。
圖4.2BP神經網絡程序框圖(3)網絡訓練及檢驗BP網絡采用梯度下降法來降低網絡的訓練誤差,考慮到基坑降水地面沉降范圍內沉降量變化幅度較小的特點,訓練時以訓練目標取0.001為控制條件,考慮到網絡的結構比較復雜,神經元個數比較多,需要適當增加訓練次數和學習速率,因此初始訓練次數設為10000次,學習速率取0.1,中間層的神經元傳遞函數采用S型正切函數tansig,傳輸函數采用logsig,訓練函數采用trainlm,選用38組數據中的33組作為訓練樣本,5組作為檢驗樣本。
(4)網絡實現及檢驗效果使用MATLAB6.0編程建立基于BP神經網絡的基坑降水地面沉降預測模型(程序代碼見附件1),其訓練誤差及檢驗效果如下:圖4.3訓練誤差曲線圖4.4預測誤差曲線由圖4.3、圖4.4可見:樣本數據收斂,訓練誤差較小,中間層神經單元個數為10時預測精度較好,誤差小于20%,誤差滿足工程需求。
MATLAB做的BP神經網絡,這個圖是什么圖
BP神經網絡訓練生成的圖片解釋,急求。
那這張呢,到了最大迭代次數了,可是還是收斂不到指定的精度。出現的情況就是像圖上一樣,均方誤差達到0.00128左右的時候就無法繼續下去了,誤差梯度總是反復,先下降,一會又縮回去了。
即使我把迭代次數設置到10000次均方誤差也就穩定在0.00128左右了,主要是誤差梯度總是不停的反復,這是為什么呢?是收斂失敗嗎?
給出一個如圖所示的BP神經網絡,X1,X2 為輸入,求輸出Y
這個應該是隱層和輸出層吧,直接purelin(X*W)即可得到輸出Y,兩輸入單輸出。
基礎知識:BP(BackPropagation)網絡是1986年由Rumelhart和McCelland為首的科學家小組提出,是一種按誤差逆傳播算法訓練的多層前饋網絡,是目前應用最廣泛的神經網絡模型之一。
BP網絡能學習和存貯大量的輸入-輸出模式映射關系,而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法,通過反向傳播來不斷調整網絡的權值和閾值,使網絡的誤差平方和最小。
BP神經網絡模型拓撲結構包括輸入層(input)、隱層(hiddenlayer)和輸出層(outputlayer)。
BP人工神經網絡方法
(一)方法原理人工神經網絡是由大量的類似人腦神經元的簡單處理單元廣泛地相互連接而成的復雜的網絡系統。理論和實踐表明,在信息處理方面,神經網絡方法比傳統模式識別方法更具有優勢。
人工神經元是神經網絡的基本處理單元,其接收的信息為x1,x2,…,xn,而ωij表示第i個神經元到第j個神經元的連接強度或稱權重。
神經元的輸入是接收信息X=(x1,x2,…,xn)與權重W={ωij}的點積,將輸入與設定的某一閾值作比較,再經過某種神經元激活函數f的作用,便得到該神經元的輸出Oi。
常見的激活函數為Sigmoid型。
人工神經元的輸入與輸出的關系為地球物理勘探概論式中:xi為第i個輸入元素,即n維輸入矢量X的第i個分量;ωi為第i個輸入與處理單元間的互聯權重;θ為處理單元的內部閾值;y為處理單元的輸出。
常用的人工神經網絡是BP網絡,它由輸入層、隱含層和輸出層三部分組成。BP算法是一種有監督的模式識別方法,包括學習和識別兩部分,其中學習過程又可分為正向傳播和反向傳播兩部分。
正向傳播開始時,對所有的連接權值置隨機數作為初值,選取模式集的任一模式作為輸入,轉向隱含層處理,并在輸出層得到該模式對應的輸出值。每一層神經元狀態只影響下一層神經元狀態。
此時,輸出值一般與期望值存在較大的誤差,需要通過誤差反向傳遞過程,計算模式的各層神經元權值的變化量。這個過程不斷重復,直至完成對該模式集所有模式的計算,產生這一輪訓練值的變化量Δωij。
在修正網絡中各種神經元的權值后,網絡重新按照正向傳播方式得到輸出。實際輸出值與期望值之間的誤差可以導致新一輪的權值修正。正向傳播與反向傳播過程循環往復,直到網絡收斂,得到網絡收斂后的互聯權值和閾值。
(二)BP神經網絡計算步驟(1)初始化連接權值和閾值為一小的隨機值,即W(0)=任意值,θ(0)=任意值。(2)輸入一個樣本X。
(3)正向傳播,計算實際輸出,即根據輸入樣本值、互聯權值和閾值,計算樣本的實際輸出。
其中輸入層的輸出等于輸入樣本值,隱含層和輸出層的輸入為地球物理勘探概論輸出為地球物理勘探概論式中:f為閾值邏輯函數,一般取Sigmoid函數,即地球物理勘探概論式中:θj表示閾值或偏置;θ0的作用是調節Sigmoid函數的形狀。
較小的θ0將使Sigmoid函數逼近于閾值邏輯單元的特征,較大的θ0將導致Sigmoid函數變平緩,一般取θ0=1。
(4)計算實際輸出與理想輸出的誤差地球物理勘探概論式中:tpk為理想輸出;Opk為實際輸出;p為樣本號;k為輸出節點號。
(5)誤差反向傳播,修改權值地球物理勘探概論式中:地球物理勘探概論地球物理勘探概論(6)判斷收斂。若誤差小于給定值,則結束,否則轉向步驟(2)。
(三)塔北雅克拉地區BP神經網絡預測實例以塔北雅克拉地區S4井為已知樣本,取氧化還原電位,放射性元素Rn、Th、Tc、U、K和地震反射構造面等7個特征為識別的依據。
構造面反映了局部構造的起伏變化,其局部隆起部位應是油氣運移和富集的有利部位,它可以作為判斷含油氣性的諸種因素之一。
在該地區投入了高精度重磁、土壤微磁、頻譜激電等多種方法,一些參數未入選為判別的特征參數,是因為某些參數是相關的。
在使用神經網絡方法判別之前,還采用K-L變換(Karhaem-Loeve)來分析和提取特征。S4井位于測區西南部5線25點,是區內唯一已知井。
該井在5390.6m的侏羅系地層獲得40.6m厚的油氣層,在5482m深的震旦系地層中獲58m厚的油氣層。
取S4井周圍9個點,即4~6線的23~25點作為已知油氣的訓練樣本;由于區內沒有未見油的鉆井,只好根據地質資料分析,選取14~16線的55~57點作為非油氣的訓練樣本。
BP網絡學習迭代17174次,總誤差為0.0001,學習效果相當滿意。以學習后的網絡進行識別,得出結果如圖6-2-4所示。
圖6-2-4塔北雅克拉地區BP神經網絡聚類結果(據劉天佑等,1997)由圖6-2-4可見,由預測值大于0.9可得5個大封閉圈遠景區,其中測區南部①號遠景區對應著已知油井S4井;②、③號油氣遠景區位于地震勘探所查明的托庫1、2號構造,該兩個構造位于沙雅隆起的東段,其西段即為1984年鉆遇高產油氣流的Sch2井,應是含油氣性好的遠景區;④、⑤號遠景區位于大澇壩構造,是yh油田的組成部分。
?
總結
以上是生活随笔為你收集整理的bp神经网络模型拓扑结构,bp神经网络模型结构图的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 图论及其应用 2017年期末考试 答案总
- 下一篇: Windows API一日一练(17)D