在強(qiáng)化學(xué)習(xí)（二）馬爾科夫決策過程(MDP)中，我們討論了用馬爾科夫假設(shè)來簡化強(qiáng)化學(xué)習(xí)模型的復(fù)雜度，這一篇我們在馬爾科夫假設(shè)和貝爾曼方程的基礎(chǔ)上討論使用動態(tài)規(guī)劃(Dynamic Programming, DP)來求解強(qiáng)化學(xué)習(xí)的問題。

　　　　動態(tài)規(guī)劃這一篇對應(yīng)Sutton書的第四章和UCL強(qiáng)化學(xué)習(xí)課程的第三講。

1. 動態(tài)規(guī)劃和強(qiáng)化學(xué)習(xí)問題的聯(lián)系

　　　　對于動態(tài)規(guī)劃，相信大家都很熟悉，很多使用算法的地方都會用到。就算是機(jī)器學(xué)習(xí)相關(guān)的算法，使用動態(tài)規(guī)劃的也很多，比如之前講到的隱馬爾科夫模型HMM（二）前向后向算法評估觀察序列概率，隱馬爾科夫模型HMM（四）維特比算法解碼隱藏狀態(tài)序列， 都是動態(tài)規(guī)劃的典型例子。

　　　　動態(tài)規(guī)劃的關(guān)鍵點有兩個：一是問題的最優(yōu)解可以由若干小問題的最優(yōu)解構(gòu)成，即通過尋找子問題的最優(yōu)解來得到問題的最優(yōu)解。第二是可以找到子問題狀態(tài)之間的遞推關(guān)系，通過較小的子問題狀態(tài)遞推出較大的子問題的狀態(tài)。而強(qiáng)化學(xué)習(xí)的問題恰好是滿足這兩個條件的。

　　　　我們先看看強(qiáng)化學(xué)習(xí)的兩個基本問題。

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的强化学习（三）用动态规划（DP）求解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。