为什么通常牛顿法比梯度下降法能更快的收敛
生活随笔
收集整理的這篇文章主要介紹了
为什么通常牛顿法比梯度下降法能更快的收敛
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
問題:為什么通常牛頓法比梯度下降法能更快的收斂?
解答:牛頓法是二階收斂,梯度下降是一階收斂,所以牛頓法就更快。如果更通俗地說的話,比如你想找一條最短的路徑走到一個盆地的最底部,梯度下降法每次只從你當前所處位置選一個坡度最大的方向走一步,牛頓法在選擇方向時,不僅會考慮坡度是否夠大,還會考慮你走了一步之后,坡度是否會變得更大。所以,可以說牛頓法比梯度下降法看得更遠一點,能更快地走到最底部。
總結
以上是生活随笔為你收集整理的为什么通常牛顿法比梯度下降法能更快的收敛的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 词权重计算及应用
- 下一篇: 深入推荐引擎相关算法 - 聚类