RMSprop

這個算法的全稱是root mean square prop.下面我們來談一下他是如何工作的。

如圖所示，你想減緩b方向的學習率，然后加速w方向的學習率。這里，所不同的是我們使用

Sdw=βSdw+(1?β)dw2Sdw=βSdw+(1?β)dw2
使用微分平方的加權平均數。

另外一個不同是最后w更新學習率的時候變得不同了。

我們來解釋一下這個原理。我們希望dw要比較小，這樣最后w的變化就會快。同時，我們也希望db要比較大，這樣最后b的變化就不會那么快。我們從batch的變化圖中的確可以看出，db變化是比較大的而dw相對比較小。因為在縱軸上，也就是b方向上函數傾斜程度更大一些。

所以最后RMSprop的變化情況就如同圖中綠色線條的樣子，這樣，我們就可以選擇更大的學習率，加快學習進度。

對于更高維的空間也是一樣的道理，RMSporp的作用就是讓那些抖動十分劇烈的部分變得平緩一些。

另外在實際情況中為了不讓分母為0，所以我們加上一個十分十分小的數εε，這個數具體是多少沒有關系，它的作用是保證整體的穩定性。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的2.2.4 RMSprop的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。