強(qiáng)化學(xué)習(xí)（三）—— 策略學(xué)習(xí)（Policy-Based）及策略梯度（Policy Gradient）

• 1. 策略學(xué)習(xí)
• 2. 策略梯度
• 3. 案例

1. 策略學(xué)習(xí)

Policy Network

• 通過(guò)策略網(wǎng)絡(luò)近似策略函數(shù)
  $$\pi (a|s_t)\approx \pi (a|s_t;\theta )$$
• 狀態(tài)價(jià)值函數(shù)及其近似
  $$V_{\pi }(s_t)=\sum _a\pi (a|s_t)Q_{\pi }(s_t,a)$$
  $$V(s_t;\theta )=\sum _a\pi (a|s_t;\theta )?Q_{\pi }(s_t,a)$$
• 策略學(xué)習(xí)最大化的目標(biāo)函數(shù)
  $$J(\theta )=E_S[V(S;\theta )]$$
• 依據(jù)策略梯度上升進(jìn)行
  $$\theta \leftarrow \theta +\beta ?\frac{?V(s;\theta )}{?\theta }$$

2. 策略梯度

Policy Gradient

$$\begin{gathered} \frac{?V(s;\theta )}{\theta }=\sum _a{Q}_{\pi }(s,a)\frac{?\pi (a|s;\theta )}{?\theta } \\ ={\int }_a{Q}_{\pi }(s,a)\frac{?\pi (a|s;\theta )}{?\theta } \\ =\sum _a\pi (a|s;\theta )?Q_{\pi }(s,a)\frac{?ln[\pi (a|s;\theta )]}{?\theta } \\ =E_{A～\pi (a|s;\theta )}[Q_{\pi }(s,A)\frac{?ln[\pi (A|s;\theta )]}{?\theta }] \\ \approx Q_{\pi }(s_t,a_t)\frac{?ln[\pi (a_t|s_t;\theta )]}{?\theta } \end{gathered}$$

• 觀測(cè)得到狀態(tài)
  $$s_t$$
• 依據(jù)策略函數(shù)隨機(jī)采樣動(dòng)作
  $$a_t=\pi (a_t|s_t;\theta )$$
• 計(jì)算價(jià)值函數(shù)
  $$q_t=Q_{\pi }(s_t,a_t)$$
• 求取策略網(wǎng)絡(luò)的梯度
  $$d_{\theta ,t}=\frac{?ln[\pi (a_t|s_t;\theta )]}{?\theta }|\theta ={\theta }_t$$
• 計(jì)算近似的策略梯度
  $$g(a_t,{\theta }_t)=q_t?d_{\theta ,t}$$
• 更新策略網(wǎng)絡(luò)
  $${\theta }_{t+1}={\theta }_t+\beta ?g(a_t,{\theta }_t)$$

3. 案例

目前沒(méi)有好的方法近似動(dòng)作價(jià)值函數(shù)，則未撰寫(xiě)案例。

by CyrusMay 2022 03 29

總結(jié)

以上是生活随笔為你收集整理的强化学习（三）—— 策略学习（Policy-Based）及策略梯度（Policy Gradient）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。