論文筆記GAE

• • 1 引言
  • 2 GAE
  • 3 置信域值函數更新
  • 4 實驗

GAE 全稱General Advantage Estimation，是一種平衡優勢函數估計中的偏差和方差的方法。論文地址https://arxiv.org/abs/1506.02438

1 引言

• 策略梯度法存在的兩個方面問題：
  樣本利用率，由于樣本利用率低需要大量采樣；
  算法穩定性，需要讓算法在變化的數據分布中穩定提升；

• 值函數也是為了解決信用分配問題，能夠在延遲獎勵到來之前判斷動作的好壞。

• 策略梯度法與AC法的區別：
  使用全部獎勵來估計策略梯度，盡管無偏但是方差大；Actor-Critic方法使用值函數來估計獎勵，能夠降低偏差但是方差較大。

• 方差、偏差的影響：
  高方差需要更多的樣本來訓練，偏差會導致不收斂或收斂結果較差。

• 本文兩個貢獻：

提出GAE來平衡偏差和方差；

提出值函數置信域方法；

2 GAE

策略梯度估計方法有如下多種，使用優勢函數的方法方差最小。

gamma-just是指期望為如下表達式：

定義狀態值函數V的TD error：

定義k步估計的優勢函數：

當k越大，方差越大，偏差越小。
GAE定義為lambda指數下降權重調整的Ak求和

當lambda=0時，相當于TD-error；當lambda=1時，相當于A∞。

GAE(γ, 1) 是 γ-just 不管 V是否準確 , 但是因為求和項較多具有高方差。
GAE(γ, 0) 是 γ-just 只在 V = V π,γ （最有值函數）時，否則會引入偏差，但是方差更小。
當 0 < λ < 1 就是平衡方差與偏差的過程。

GAE策略梯度更新公式：

3 置信域值函數更新

置信域方法的好處是防止過擬合最近一批數據。
使用共軛梯度法求解

![在這里插入圖片描述](https://img-blog.csdnimg.cn/20200328002213720.png

4 實驗

算法偽代碼：

如果先更新值函數會引入新的偏差，文章的解釋是：如果先滿足了貝爾曼方程，TD-error為0，策略梯度也為0。

部分實驗結果如下，能看出gamma一般取0.99、0.999，lambda一般取0.95-1

問題
為什么使用狀態值函數而不是動作值函數？
答：狀態值函數輸入維度更少，訓練更方便；本文的方法能夠平衡偏差和方差，如果使用動作值函數Q會讓我們得到高偏差。

總結

以上是生活随笔為你收集整理的论文笔记 General Advantage Estimation（GAE）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。