多層感知器（MLP）

? ? Rosenblatt感知器和LMS算法，都是單層的并且是單個神經元構造的神經網絡，他們的局限性是只能解決線性可分問題，例如Rosenblatt感知器一直沒辦法處理簡單異或問題。然而日常生活中大多數問題不是線性可分的，都是多維度且無法直接進行線性分類。為了增加神經網絡對這一類問題的泛化能力，出現了多層感知器（多層神經網絡）的概念。

多層感知器基本特征：

? ? 網絡中每個神經元模型包含一個可微的非線性激活函數。

? ? 網絡中包括一個或多個隱藏在輸入和輸出神經節點之間的層。

? ? 網絡展示出高度的連接性，其強度是由網絡的突觸權值決定的。

?

訓練多層感知器的一個流行方法是反向傳播算法，訓練分為如下兩個階段：

前向階段，網絡的突觸權值是固定的，輸入信號在網絡中一層一層傳播，直到到達輸出端。因此，在這一階段，輸入信號的影響限制在網絡中激活隱藏神經元和輸出神經元上。

反向階段，通過比較網絡的輸出和期望輸出產生一個誤差信號。得到的誤差信號再次通過網絡一層一層傳播，但是這一次傳播是在反方向上進行的。在第二階段，對于網絡的突觸權值進行不斷的修正。對于輸出層權值的修正計算是直接的，但是對于隱藏層來說則更有挑戰性。

具有兩個隱藏層的多層感知器結構圖

函數信號。函數信號是從網絡輸入端而來的一個輸入信號（刺激），通過網絡（一個神經元接一個神經元）向前傳播，到達網絡輸出端即成為一個輸出信號。

誤差信號。一個誤差信號產生于網絡的一個輸出神經元，并通過網絡（一層接一層）反向傳播。我們稱之為“誤差信號”是因為網絡的每一個神經元對他的計算都以這種或那種形式涉及誤差依賴函數。

? ? 輸出神經元構成網絡的輸出層。余下的神經元構成網絡的隱藏層。因此隱藏層單元并不是網絡輸出或輸入的一部分-因此他們被稱為“隱藏”的。第一隱藏層的信號是從由傳感單元（源節點）構成的輸入饋給的；而第一隱藏層的輸出結果又應用于下一個隱藏層；網絡的其余部分依此類推。

多層感知器每一個隱藏層或輸出層神經元的作用是進行兩種計算：

計算一個神經元的輸出處出現的函數信號，它表現為關于輸入信號以及與該神經元相關的突觸權值的一個連續非線性函數。

計算梯度向量（即誤差曲面對鏈接于一個神經元輸入的權值的梯度）的一個估計，他需要反向通過網絡。

隱藏神經元的功能

? ? 隱藏神經元扮演著特征檢測算子（feature?detector）的角色；他們在多層感知器的運轉中起著決定性作用。隨著學習過程通過多層感知器不斷進行，隱藏神經元開始逐步“發現”刻畫訓練數據的突出特征。它們是通過將輸入數據非線性變換到新的稱為特征空間的空間而實現的。例如，在模式分類問題中，感興趣的類在這個新的空間中可能比原始輸入數據空間中更容易分隔開。甚至，正事通過監督學習形成的這一特種空間將多層感知器和Rosenblatt感知器區分開來。

多層感知器監督學習的兩種不同方式?批量學習和在線學習

批量學習（離線學習）

? ? 在監督學習的批量方法中，多數感知器的突觸權值的調整在訓練樣本集合的所有樣例都出現后進行，這構成了訓練的一個回合（epoch）。換句話說，批量學習的代價函數是由平均誤差能量定義的。多層改制器的突觸權值的調整是以回合-回合為基礎的。批量學習的有點是?對梯度向量的精確估計；學習過程的并行性。然而從實際觀點看，批量學習有著存儲需求。從統計的角度看，批量學習可以看成是某種形式的統計推斷。因此它很適合于解非線性回歸問題。

在線學習

????在監督學習的在線方法下，對于多層感知器突觸權值的調整是以樣例-樣例為基礎的。用來最小化的代價函數是全體瞬時誤差能量。但是這樣的過程也違反了在線學習的并行性。在線學習方法被稱為隨機方法。這一隨機性具有所希望的學習過程不容易陷入局部極小值點的效果，這是在線學習好于批量學習的明確意義所在。在線學習的另一個有點在于它比批量學習需要的存儲量要少得多。同時它能夠追蹤訓練數據的小的改變，尤其是產生數據的環境是不穩定的情況下。目前在線學習依然是主流方法。

?

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—多层感知器（MLP）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。