????馬爾科夫模型是一種概率圖模型，它描述了一類重要的隨機(jī)過(guò)程(隨機(jī)過(guò)程又稱為隨機(jī)函數(shù)，是隨時(shí)間而隨機(jī)變化的過(guò)程)。我們常常需要考察一個(gè)隨機(jī)變量序列，這些隨機(jī)變量序列并不是相互獨(dú)立的，每個(gè)隨機(jī)變量的值都依賴于這個(gè)序列前邊的狀態(tài)。

????如果一個(gè)系統(tǒng)有N個(gè)有限狀態(tài)S={s1,s2,…,sN}，那么隨著時(shí)間的推移，該系統(tǒng)將從一個(gè)狀態(tài)轉(zhuǎn)換到另一個(gè)狀態(tài)。Q=(q1,q2,…,qT)為一個(gè)隨機(jī)序列，它表示為在t時(shí)刻系統(tǒng)的狀態(tài)qT，值為S中的某個(gè)狀態(tài)。

系統(tǒng)在時(shí)間t處于狀態(tài)sj的概率取決于其在時(shí)間1,2…,t?1的狀態(tài)，該概率為：

P(qt=sj|qt?1=si,qt?2=sk,…)

????如果在特定的條件下，系統(tǒng)在時(shí)間t的狀態(tài)只與它之前t?1的狀態(tài)有關(guān)，即

P(qt=sj|qt?1=si,qt?2=sk,…)=P(qt=sj|qt?1=si)(1)
則該系統(tǒng)構(gòu)成一個(gè)離散的 一階馬爾科夫鏈。

????如果只考慮(1)式獨(dú)立于時(shí)間t的隨機(jī)過(guò)程：
P(qt=sj|qt?1=si)=aij,其中，1≤i,j≤N
則該隨機(jī)過(guò)程稱為馬爾科夫模型。其中，狀態(tài)轉(zhuǎn)移概率aij滿足以下條件：

aij≥0∑j=1Naij=1
顯然，有 N個(gè)狀態(tài)的一階馬爾科夫過(guò)程有N2次狀態(tài)轉(zhuǎn)移，狀態(tài)轉(zhuǎn)移概率可以表示為一個(gè)狀態(tài)轉(zhuǎn)移矩陣。

????馬爾科夫模型可以視為隨機(jī)的有限狀態(tài)機(jī)。

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（十二）——马尔科夫模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。