????共軛梯度法不需要預(yù)先給定Q共軛方向，而是隨著迭代的進(jìn)行不斷產(chǎn)生Q共軛方向。在每次的迭代中，利用上一個(gè)搜索方向和目標(biāo)函數(shù)在當(dāng)前迭代點(diǎn)的梯度向量 之間的線性組合構(gòu)造一個(gè)新的方向，使其與前邊已經(jīng)產(chǎn)生的搜索方向組成Q共軛方向。對(duì)于一個(gè)n維二次型函數(shù)，沿著Q共軛方向進(jìn)行搜索，經(jīng)過n次迭代，即可得到極小點(diǎn)。
    考慮二次型函數(shù)：
f(x)=12xTQx?xTb,x∈Rn
其中， Q=QT>0。初始點(diǎn)x(0)，搜索方向采用最速下降法的方向，即函數(shù)f在x(0)處梯度的負(fù)方向，即：

d(0)=?g(0)
產(chǎn)生下一個(gè)迭代點(diǎn)：
x(1)=x(0)+α0d(0)
其中，步長(zhǎng)為：
α0=argminα≥0f(x(0)+α0d(0))=?g(0)Td(0)d(0)TQd(0)
再展開下一次迭代，搜索方向 d(0)和 d(1)應(yīng)該是關(guān)于 Q共軛的。推廣開來，在 k+1詞迭代中：
d(k+1)=?g(k+1)+βkd(k),k=0,1,2…
按照如下方式選擇 βk, 可以使得 d(k+1)和 d(0),d(1),…,d(k)組成 Q共軛方向：
βk=g(k+1)TQd(k)d(k)TQd(k)

共軛梯度法的算法步驟可以歸納如下：

令 k=0,選擇初始值：x(0)

計(jì)算g(0)=?f(x(0)),如果g(0)=0，停止。否則：d(0)=?g(0).

計(jì)算αk=?g(k)Td(k)d(k)TQd(k)

計(jì)算 x(k+1)=x(k)+αkd(k)

計(jì)算g(k+1)=?f(x(k+1)),如果g(k+1)=0，停止。

計(jì)算βk=g(k+1)TQd(k)d(k)TQd(k)

計(jì)算d(k+1)=?g(k+1)+βkd(k)

令k=k+1，回到第3<script type="math/tex" id="MathJax-Element-10156">3</script>步。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的最优化学习笔记（十四）——共轭梯度法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。