改善反向傳播的性能試探法

整理8個能提高BP效率的方法：

?

隨機和批量方式更新

反向傳播學習的隨機（串行）方式（涉及一個模式接一個模式的更新）要比批量方式

計算快。特別是當新聯(lián)數(shù)據(jù)集很大且高度冗余時，更是如此。（批量學習再高度冗余的時候Jacobi矩陣會很麻煩）

最大信息內(nèi)容

作為一個基本的規(guī)則，對呈現(xiàn)給反向傳播算法的每一個訓練樣本的挑選必須建立在其信息內(nèi)容對解決問題有很大可能的基礎上。達到這個目標的兩種方法是：

使用訓練誤差最大的樣本。

使用的樣本要與以前使用的有區(qū)別。

這兩個試探方法起因于對權(quán)空間進行更多搜索的愿望。

在模式分類的任務中使用串行反向傳播學習，經(jīng)常使用的一個簡單技巧是將樣本的每個回合呈現(xiàn)給多層感知器的順序隨機化（即弄亂）。理想情況下，隨機化可以確保一個回合中的相繼的樣本很少屬于同一類。

激活函數(shù)

建議選擇奇函數(shù)的sigmoid激活函數(shù)即

F(-v)?=?-?F(v)

如下的雙曲正切函數(shù)滿足這個條件(logistic函數(shù)不滿足)

F(v)?=?a?tanh?(bv)???????其中a和b的合適值：a=1.7159???b=2/3

?

F(1)??=?1/F(-1)?=?-1

再遠點激活函數(shù)的傾斜度（即有效增益）接近于1

F(v)的二階導數(shù)在v=1時達到最大。

4.目標值。

在sigmoid激活函數(shù)的范圍內(nèi)選擇目標值（期望響應）是很重要的。更具體來說，多層感知器輸出層的神經(jīng)元j的期望響應dj必須與sigmoid激活函數(shù)的極限值偏離某個值，具體取決于極限值是正或負。否則反向傳播算法會使網(wǎng)絡的自由參數(shù)趨向于無窮大，驅(qū)使隱藏神經(jīng)元達到飽和從而減慢學習過程。

輸入的標準化。每一個輸入標量都需要預處理，使得它關(guān)于整個訓練集求平均的均值接近0，或者與標準偏差相比是較小的。位評價這個規(guī)則的實際意義，我們考慮輸入恒正的極端情況。在這種情況下，第一隱藏層的一個神經(jīng)元的所有突觸權(quán)值只能同時增加或同時減少。所以，如果這個神經(jīng)元權(quán)值向量改變方向，則它的誤差曲面的路徑變成鋸齒形的，這會使收斂速度變慢，因此應該避免。兩個步驟

訓練集包含的輸入變量應該是不相關(guān)的；

區(qū)相關(guān)后的輸入變量應調(diào)整其長度使得它們的協(xié)方差近似相等，因此可以保證網(wǎng)絡中的不同突觸權(quán)值以大約相等的速度進行學習。

初始化。使得神經(jīng)元誘導局部域的標準偏差位于它的sigmoid激活函數(shù)的線性部分和飽和部分的過渡區(qū)域。對于一個均勻分布，它需要其均值為0而方差將與神經(jīng)元的突觸鏈接的數(shù)目成反比，從而這個分布來選擇突觸權(quán)值的值。

從提示中學習。從一組未知的訓練例子中學習意味著處理未知的輸入-輸出映射函數(shù)，事實上，學習過程利用函數(shù)例子鎖包含的信息來推斷它的逼近實現(xiàn)。從例子中學習的過程可以推廣為包括從提示中學習，這可以通過在學習過程中加入函數(shù)的先驗知識來實現(xiàn)。這些知識包括不變性、對稱性或關(guān)于函數(shù)的其他知識，它們可以用來加速實現(xiàn)函數(shù)逼近的搜索，而且更重要的是，會提高最后估計的質(zhì)量。

學習率。多層感知器的所有神經(jīng)元理論上應以同一速率進行學習。網(wǎng)絡最后一層的局部梯度與通常比別的層大。因此，最后一層的學習率參數(shù)應設的比別的層小。輸入較多的神經(jīng)元的學習率參數(shù)應比輸入較少的神經(jīng)元小。對于一個給定的神經(jīng)元，其學習率應與該審刑院的突觸鏈接的平方根成反比。

?

?

總結(jié)

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—改善反向传播的性能试探法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。