????在最優化學習系列中，第一次就說的是牛頓法，但是那是在一維搜索上的，它其實就是將函數f在x處利用泰勒公式展開，得到它的近似函數，進而求解最小值。本節內容主要說明牛頓法在多維數據上的迭代公式。最優化學習筆記中講到的最速下降法是一種速度比較快的優化方法，但是最速下降法只用到了函數的一階導數，這種方法并不總是最高效的。而這里說的牛頓法用到了二階導數，它的效率可能比最速下降法更優。
????當目標函數f:Rn→R上二階連續可微時，將函數f在x(k)處進行泰勒展開，并且不考慮三階及以上的項，那么可得到函數f的二階近似項：
f(x)≈f(x(k))+(x?x(k))Tg(k)+12(x?x(k))TF(x(k))(x?x(k))=q(x)
其中，g(k)=?f(x(k)),F(x(k))是f(x(k))黑塞矩陣，將q應用局部極小點的一屆必要條件：

0=?q(x)=g(k)+F(x(k))(x?x(k))
如果 F(x(k))>0, 則函數 q的極小值點為：
x(k+1)=x(k)?F(x(k))?1g(k)

???? 需要說明的是，在上述過程中，需要求解一個n<script type="math/tex" id="MathJax-Element-3483">n</script>維的線性齊次方程組，這對效率很有影響，應該設計一個更為高效的方法。如果黑塞矩陣是非正定的，那么牛頓法也將存在問題，后邊也將會針對問題提出相應的修正方法。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的最优化学习笔记(五)——牛顿法（多维数据）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。