非精確一維線搜索（Armijo-Goldstein Rule 和 Wolfe-Powell Rule）

• Armijo-Goldstein Rule
• • 算法步驟
• Wolfe-Powell Rule
• • 算法步驟

Armijo-Goldstein Rule

核心思想：

目標函數值有足夠下降；

一維線搜索的步長不應該太小

算法步驟

• $Step1$：初始點 $\mu$ ，令${\mu }_{min}$ = 0，${\mu }_{max}$ = +$\infty$，$\rho \in (0,\frac{1}{2})$，計算$f(0)$，$f^{\prime }(0)$;

• $Step2$：如果$f(\mu )>f(0)+\rho f^{\prime }(0)\mu$, 令${\mu }_{max}=\mu$，轉$Step3$ ,
  如果$f(\mu )\ge f(0)+(1?\rho )f^{\prime }(0)\mu$ , 停止迭代，輸出$\mu$ ,
  否則，令${\mu }_{min}=\mu$, 轉$Step3$；

• $Step3$：如果${\mu }_{max}<+\infty ,令\mu ={\mu }_{min}+{\mu }_{max}$,轉到$Step2$，
  否則，令$\mu =2\mu$, 轉到$Step2$.

Wolfe-Powell Rule

核心思想：

• 利用梯度避免將極小值排除在可接受區間外。

算法步驟

• $Step1$：初始點$\mu ,令{\mu }_{min}=0,{\mu }_{max}=+\infty ,令f_{min}=f(0),f_{min}^{\prime }=f^{\prime }(0)$,
  $\rho (=0.1),\sigma (=0.4)$;

• $Step2$：如果$f(\mu )>f(0)+\rho f^{\prime }(0)\mu ,令{\mu }_{max}=\mu ,轉到Step3$,
  如果$f^{\prime }(\mu )\ge \sigma f^{\prime }(0),停止迭代，輸出\mu$,
  否則，令${\mu }_{min}=\mu ，轉到Step4$；

• $Step3$：$\hat{\mu }={\mu }_{min}+\frac{1}{2}\frac{\mu ?{\mu }_{min}}{1+\frac{f_{min}?f(\mu )}{(\mu ?{\mu }_{min})f_{min}^{\prime }}},\mu =\hat{\mu }，$
  計算$f(\mu ),f^{\prime }(\mu ),轉到Step2$;

• $Step4$：$\hat{\mu }=\mu +\frac{\mu ?{\mu }_{min}}{f_{min}^{\prime }?f^{\prime }(\mu )}{f}^{\prime }(\mu ),$
  計算$f_{min}=f(\mu ),f_{min}^{\prime }=f^{\prime }(\mu ),令\mu =\hat{\mu }$;
  計算$f(\mu ),f^{\prime }(\mu ),轉到Step2$;

代碼實現后續補充

總結

以上是生活随笔為你收集整理的非精确一维线搜索（Armijo-Goldstein Rule 和 Wolfe-Powell Rule）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。