本文主要介紹一下幾種不同類型的神經網絡模型，主要有前饋神經網絡，反饋神經網絡，自組織神經網絡，隨機神經網絡

1.前饋神經網絡

1)自適應線性神經網絡(Adaline)

自適應線性神經網絡（Adaptive Linear，簡稱Adaline) 是由威德羅（Widrow）和霍夫（Hoff）首先提出的。它與感知器的主要不同之處在于其神經元有一個線性激活函數，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W—H學習法則，也稱最小均方差(LMS)規則對權值進行訓練。自適應線性元件的主要用途是線性逼近一個函數式而進行模式聯想。

2)單層感知器

單層感知器（Perceptron）是由美國計算機科學家羅森布拉特（F.Roseblatt）于1957年提出的。它是一個具有單層神經元的網絡，由線性閾值邏輯單元所組成。它的輸入可以是非離散量，而且可以通過學習而得到，這使單層感知器在神經網絡研究中有著重要的意義和地位：它提出了自組織、自學習的思想，對能夠解決的問題，有一個收斂的算法，并從數學上給出了嚴格的證明。

3)多層感知器

單層感知器由于只有一個神經元，功能單一，只能完成線性決策或實現“與”、“或”、“非”等單一邏輯函數。多層感知器（Multilayer Perceptron）是在單層感知器的基礎上發展起來的，它是一種在輸入層與輸出層之間含有一層或多層隱含結點的具有正向傳播機制的神經網絡模型。多層感知器克服了單層感知器的許多局限，它的性能主要來源于它的每層結點的非線性特性（節點輸出函數的非線性特性）。如果每個結點是線性的，那么多層感知器的功能就和單層感知器一樣。

在人工神經網絡中，應用最普遍的是多層前饋網絡模型。在1986年，Rumelhant和McClelland提出了多層前饋網絡的誤差反向傳播（Error Back Propagation）學習算法，簡稱BP算法，這是一種多層網絡的逆推學習算法。由此采用BP算法的多層前饋網絡也廣泛被稱為BP網絡。

2.反饋神經網絡

反饋神經網絡模型可用一完備的無向圖表示。從系統的觀點看，反饋神經網絡模型是一反饋動力學系統，它具有極復雜的動力學特性。在反饋神經網絡模型中，我們關心的是其穩定性，穩定性是神經網絡相聯存儲性質的體現，可以說穩定就意味著完成回憶。從計算的角度講，反饋神經網絡模型具有比前饋神經網絡模型更強的計算能力，它包括Hopfield神經網絡、海明神經網絡和雙向聯想存儲器。

1)Hopfield神經網絡

1982年，美國神經網絡學者霍普菲爾德（J.J.Hopfield）提出了反饋型的全連接神經網絡，是一種對記憶功能的較好模擬。Hopfield神經網絡的結構特點是：每一個神經元的輸出信號通過其它神經元后，反饋到自己的輸入端。這種反饋方式有利于通過聯想記憶實現最優化，經過分析比較與判斷確定最優解決問題的方法。網絡狀態的演變是一種非線性動力學系統的行為描述過程，作為一種非線性動力學系統，系統從初始化出發后，系統狀態經過演變可能發生如下結果：
a) 漸進穩定形成穩定點，又稱為吸引子。
b) 極限環狀態。
c) 混沌狀態。
d) 發散狀態。
發散狀態是不希望看到的。對于人工神經網絡而言，由于選取網絡的變換函數為一個有界函數，因此系統狀態不會演變成發散。

2)海明神經網絡(Hamming)

海明（Hamming）網絡由匹配子網和競爭子網組成。匹配子網在學習階段將若干類別的樣本記憶存儲在網絡的連接權值中；在工作階段（回憶階段），該子網計算輸入模式和各個樣本模式的匹配程度，并將結果送入競爭子網中，由競爭子網選擇出匹配子網中最大的輸出。從而，實現了對離散輸入模式進行在海明距離最小意義下的識別和分類。

3)雙向聯想存儲器(BAM)

雙向聯想存儲器（BAM）是由日本的Kosko提出的一種神經網絡模型，它是ART網絡模型的一種簡化形式， 是一種異聯想存儲器。它能存儲成對的模式(A1，B1)，(A2,B2),?,(AN,BN)。Ai和Bi是不同向量空間中的向量。如果模式A輸入到BAM，輸出是模式B，且若A與iA最為接近，B就是在BAM所存儲的向量iB。 BAM網絡模型中的神經元為非線性單元，每個神經元的作用相當于一個非線性函數，這個函數一般取為S型函數：y=11+exp?x.

3.自組織神經網絡

1)自適應諧振理論(ART)

自適應諧振理論（adaptive resonance theory，簡稱ART）的目的是為人類的心理和認知活動建立一個統一的數學理論。1976年，美國學者Carpenter和Grossberg提出了ART神經網絡模型。它是利用生物神經細胞的自興奮與側抑制的原理來指導學習，讓輸入模式通過網絡的雙向連接權的作用來進行比較與識別，最后使網絡對輸入模式產生所謂的諧振，因此來完成對輸入模式的記憶，并以同樣的方式實現網絡的回想。當網絡已經存儲了一定的內容之后，則可用它來進行識別。在識別過程中，如果輸入是已記憶的或與已記憶的模式十分相似，則網絡會把它回想出來。如果是沒有記憶的新模式，則在不影響原有記憶的前提下，把它記憶下來，并用一個沒用過的輸出層神經元作為這一新模式的分類標志。

ART網絡主要有三種形式：ART1是處理雙極型或二進制數據，即觀察向量的每個分量是二值的，只能取0或1；ART2是用于處理連續型模擬信號，即觀察向量的每個分量可取任意實數值，也可用于二進制輸入；ART3是分級搜索模型，它兼容前兩種結構的功能并將兩層神經元網絡擴大為任意多層神經元網絡，并在神經元的運行模型中納入人類神經元生物電—化學反應機制，因而具備了相當強的功能和擴展能力。

2)自組織映射神經網絡模型(SOM)

在人的感覺通道上一個很重要的組織原理是神經元有序地排列著，并且往往可以反映出所感覺到外界刺激的某些物理特性。如在聽覺通道的每一個層次上，其神經元與神經纖維在結構上的排列與外界刺激的頻率關系十分密切，對于某個頻率，相應的神經元具有最大的響應，這種聽覺通道上的有序排列一直延續到聽覺皮層，盡管許多低層次上的組織是預先排好的，但高層次上的神經組織則是通過學習自組織而形成的。由此生物背景，提出了自組織映射神經網絡模型（SOM）。

3)對流神經網絡模型(CPN)

CPN是由SOM模型和Grossberg外星網絡組合而形成的一種神經網絡模型。是由美國Hecht-Nielsen和Robert-Nielsen于1987年首先提出來的。一般認為，這種由兩種或多種網絡組合而成的新型網絡往往具有比原網絡模型更強的能力，它能夠克服單個網絡的缺陷，而且學習時間較短。

4.隨機神經網絡

1) 模擬退火算法

在物理學中，對固體物質進行退火處理時，通常先將它加溫溶化，使其中的粒子可自由地運動，然后隨著物質溫度的下降，粒子也形成了低能態的晶格。若在凝結點附近的溫度下降速度足夠慢，則固體物質一定會形成最低能量的基態。對于組合優化問題來說，它也有類似的過程，也就是說物理中固體物質的退火過程與組合優化問題具有相似性。組合優化問題也是在解空間尋求花費函數最小（或最大）的解。

2) Boltzmann機

Boltzmann機是由Hinton和Sejnowski提出來的一種統計神經網絡模型，是在Hopfield網絡基礎之上引入了隨機性機制而形成的。與Hopfield神經網絡不同的是Boltzmann機具有學習能力，即其權值通過學習來調整，而不是預先設置。Boltzmann機是一種約束滿足神經網絡模型。

基于模擬退火算法的波爾茲曼機訓練的基本思想為：當神經網絡中某個與溫度對應的參數發生變化時，神經網絡的興奮模式也會如同物理上的熱運動那樣發生變化：當溫度逐漸下降時，由決定函數判斷神經元是否處于興奮狀態。在從高溫到低溫的退火(annealing)中，能量并不會停留在局部極小值上，而以最大的概率到達全局最小值。

總結

以上是生活随笔為你收集整理的神经网络模型分类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。