1 牛頓法介紹

牛頓法是一種二階優(yōu)化技術(shù)，它將目標(biāo)函數(shù)建模為二次函數(shù)。

我們知道，在梯度下降中，我們是把函數(shù)近似為一次函數(shù)。在牛頓法中，我們將其近似為二次函數(shù)：

讓上式的微分為0，我們有：

?

?如果函數(shù)本身就是二次函數(shù)的話，牛頓法一步即可 收斂；不是的話牛頓法的收斂速度也比一階近似的梯度下降要快。

2 牛頓法的問(wèn)題

?

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：牛顿方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。