簡介：最近在看邏輯回歸算法，在算法構(gòu)建模型的過程中需要對參數(shù)進行求解，采用的方法有梯度下降法和無約束項優(yōu)化算法。之前對無約束項優(yōu)化算法并不是很了解，于是在學(xué)習(xí)邏輯回歸之前，先對無約束項優(yōu)化算法中經(jīng)典的算法學(xué)習(xí)了一下。下面將無約束項優(yōu)化算法的細節(jié)進行描述。為了尊重別人的勞動成果，本文的出處是：http://blog.csdn.net/itplus/article/details/21896453

?

、

?

從這里我們可以看出：要想迭代出Xk+1，就只需要計算Dk+1即可。DFP算法是對Dk+1的一個近似計算的算法。BFGS算法是直接近似計算海森矩陣，用Bk+1表示。

?

?

總結(jié)

以上是生活随笔為你收集整理的无约束优化算法——牛顿法与拟牛顿法（DFP，BFGS，LBFGS）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。