From:http://blog.csdn.net/j123kaishichufa/article/details/7638181

?

1.什么是隨機過程？

在當代科學(xué)與社會的廣闊天地里，人們都可以看到一種叫作隨機過程的數(shù)學(xué)模型：從銀河亮度的起伏到星系空間的物質(zhì)分布、從分子的布朗運動到原子的蛻變過程，從化學(xué)反應(yīng)動力學(xué)到電話通訊理論、從謠言的傳播到傳染病的流行、從市場預(yù)測到密碼破譯，隨機過程理論及其應(yīng)用幾乎無所不在。人類歷史上第一個從理論上提出并加以研究的過程模型是馬爾科夫鏈，它是馬爾科夫?qū)Ω怕收撃酥寥祟愃枷氚l(fā)展作出的又一偉大貢獻。

2.什么是馬爾科夫隨機過程和馬爾科夫鏈

馬爾科夫過程，是指下一個時間點的指只與當前值有關(guān)系，與以前沒有關(guān)系，即未來決定于現(xiàn)在而不是過去。

用一個通俗的比喻來形容，一只被切除了大腦的白鼠在若干個洞穴間的躥動就構(gòu)成一個馬爾科夫鏈。因為這只白鼠已沒有了記憶，瞬間而生的念頭決定了它從一個洞穴躥到另一個洞穴；當其所在位置確定時，它下一步躥往何處與它以往經(jīng)過的路徑無關(guān)。這一模型的哲學(xué)意義是十分明顯的，用前蘇聯(lián)數(shù)學(xué)家辛欽（1894－1959〕的話來說，就是承認客觀世界中有這樣一種現(xiàn)象，其未來由現(xiàn)在決定的程度，使得我們關(guān)于過去的知識絲毫不影響這種決定性。這種在已知 “現(xiàn)在”的條件下，“未來”與“過去”彼此獨立的特性就被稱為馬爾科夫性，具有這種性質(zhì)的隨機過程就叫做馬爾科夫過程，其最原始的模型就是馬爾科夫鏈。

換個說法：馬爾科夫隨機過程是一類隨機過程

馬爾科夫隨機過程是一類隨機過程。它的原始模型馬爾可夫鏈，由俄國數(shù)學(xué)家A.A.馬爾可夫于1907年提出。該過程具有如下特性：在已知目前狀態(tài) (現(xiàn)在)的條件下，它未來的演變 (將來)不依賴于它以往的演變 ( 過去 ) 。 例如森林中動物頭數(shù)的變化構(gòu)成——馬爾可夫過程。在現(xiàn)實世界中，有很多過程都是馬爾可夫過程，如液體中微粒所作的布朗運動、傳染病受感染的人數(shù)、車站的候車人數(shù)等，都可視為馬爾可夫過程。關(guān)于該過程的研究，1931年A.H.柯爾莫哥洛夫在《概率論的解析方法》一文中首先將微分方程等分析的方法用于這類過程，奠定了馬爾可夫過程的理論基礎(chǔ)。1951年前后，伊藤清建立的隨機微分方程的理論，為馬爾可夫過程的研究開辟了新的道路。1954年前后，W.費勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領(lǐng)域。

人們在實際中常遇到具有下述特性的隨機過程：在已知它目前的狀態(tài)(現(xiàn)在)的條件下，它未來的演變（將來）不依賴于它以往的演變（過去）。這種已知“現(xiàn)在”的條件下，“將來”與“過去”獨立的特性稱為馬爾可夫性，具有這種性質(zhì)的隨機過程叫做馬爾可夫過程。荷花池中一只青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因為青蛙是沒有記憶的,當現(xiàn)在所處的位置已知時,它下一步跳往何處和它以往走過的路徑無關(guān)。如果將荷葉編號并用X0,X1,X2,…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍后所處的荷葉號碼，那么{Xn，n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運動，傳染病受感染的人數(shù)，原子核中一自由電子在電子層中的跳躍，人口增長過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。

3.什么是馬爾科夫隨機場

馬爾可夫隨機場（Markov Random Field）包含兩層意思。

馬爾可夫性質(zhì)：它指的是一個隨機變量序列按時間先后關(guān)系依次排開的時候，第N+1時刻的分布特性，與N時刻以前的隨機變量的取值無關(guān)。拿天氣來打個比方。如果我們假定天氣是馬爾可夫的，其意思就是我們假設(shè)今天的天氣僅僅與昨天的天氣存在概率上的關(guān)聯(lián)，而與前天及前天以前的天氣沒有關(guān)系。其它如傳染病和謠言的傳播規(guī)律，就是馬爾可夫的。

隨機場：當給每一個位置中按照某種分布隨機賦予相空間的一個值之后，其全體就叫做隨機場。我們不妨拿種地來打個比方。其中有兩個概念：位置（site），相空間（phase space）。“位置”好比是一畝畝農(nóng)田；“相空間”好比是種的各種莊稼。我們可以給不同的地種上不同的莊稼，這就好比給隨機場的每個“位置”，賦予相空間里不同的值。所以，俗氣點說，隨機場就是在哪塊地里種什么莊稼的事情。

馬爾可夫隨機場：拿種地打比方，如果任何一塊地里種的莊稼的種類僅僅與它鄰近的地里種的莊稼的種類有關(guān)，與其它地方的莊稼的種類無關(guān)，那么這些地里種的莊稼的集合，就是一個馬爾可夫隨機場。

二.數(shù)學(xué)描述

1.定義

馬爾可夫鏈是隨機變量X1,X2,X3...的一個數(shù)列。這些變量的范圍，即他們所有可能取值的集合，被稱為“狀態(tài)空間”，而Xn的值則是在時間n的狀態(tài)。如果Xn?+ 1對于過去狀態(tài)的條件概率分布僅是Xn的一個函數(shù)，則

?

這里x為過程中的某個狀態(tài)。上面這個恒等式可以被看作是馬爾可夫性質(zhì)。

2.性質(zhì)

可還原性

馬爾可夫鏈是由一個條件分布來表示的

?

這被稱為是隨機過程中的“轉(zhuǎn)移概率”。這有時也被稱作是“一步轉(zhuǎn)移概率”。二、三，以及更多步的轉(zhuǎn)移概率可以導(dǎo)自一步轉(zhuǎn)移概率和馬爾可夫性質(zhì)：

?

同樣，

?

這些式子可以通過乘以轉(zhuǎn)移概率并求k?? 1次積分來一般化到任意的將來時間n?+?k。

周期性

邊際分布?P(Xn)是在時間為n時的狀態(tài)的分布。初始分布為P(X0)。該過程的變化可以用以下的一個時間步幅來描述：

?

這是Frobenius-Perron equation的一個版本。這時可能存在一個或多個狀態(tài)分布π滿足

?

其中Y只是為了便于對變量積分的一個名義。這樣的分布π被稱作是“平穩(wěn)分布”（Stationary Distribution）或者“穩(wěn)態(tài)分布”（Steady-state Distribution）。一個平穩(wěn)分布是一個對應(yīng)于特征值為1的條件分布函數(shù)的特征方程。

平穩(wěn)分布是否存在，以及如果存在是否唯一，這是由過程的特定性質(zhì)決定的。“不可約”是指每一個狀態(tài)都可來自任意的其它狀態(tài)。當存在至少一個狀態(tài)經(jīng)過一個固定的時間段后連續(xù)返回，則這個過程被稱為是“周期的”。

重現(xiàn)性

各態(tài)歷遍性

律動性

平穩(wěn)狀態(tài)分析和極限分布

可反轉(zhuǎn)馬爾可夫鏈

可反轉(zhuǎn)馬爾可夫鏈類似于應(yīng)用貝葉斯定理來反轉(zhuǎn)一個條件概率:

?

以上就是反轉(zhuǎn)的馬爾可夫鏈。因而，如果存在一個π，使得:

?

那么這個馬爾可夫鏈就是可反轉(zhuǎn)的。

這個條件也被稱為細致平衡?(detailed balance)條件。

對于所有的i求和:

?

所以，對于可反轉(zhuǎn)馬爾可夫鏈，π總是一個平穩(wěn)分布。

有限狀態(tài)空間中的馬爾可夫鏈

如果狀態(tài)空間是有限的，則轉(zhuǎn)移概率分布可以表示為一個具有(i,j)元素的矩陣，稱之為“轉(zhuǎn)移矩陣”：

?

對于一個離散狀態(tài)空間，k步轉(zhuǎn)移概率的積分即為求和，可以對轉(zhuǎn)移矩陣求k次冪來求得。就是說，如果是一步轉(zhuǎn)移矩陣，就是k步轉(zhuǎn)移后的轉(zhuǎn)移矩陣。

平穩(wěn)分布是一個滿足以下方程的向量

.

?

在此情況下，穩(wěn)態(tài)分布π * 是一個對應(yīng)于特征根為1的、該轉(zhuǎn)移矩陣的特征向量。

如果轉(zhuǎn)移矩陣不可約，并且是非周期的，則收斂到一個每一列都是不同的平穩(wěn)分布 π * ，并且，

,

?

獨立于初始分布π。這是由Perron-Frobenius theorem所指出的。

正的轉(zhuǎn)移矩陣（即矩陣的每一個元素都是正的）是不可約和非周期的。矩陣被稱為是一個隨機矩陣，當且僅當這是某個馬爾可夫鏈中轉(zhuǎn)移概率的矩陣。

注意：在上面的定式化中，元素(i,j)是由j轉(zhuǎn)移到i的概率。有時候一個由元素(i,j)給出的等價的定式化等于由i轉(zhuǎn)移到j(luò)的概率。在此情況下，轉(zhuǎn)移矩陣僅是這里所給出的轉(zhuǎn)移矩陣的轉(zhuǎn)置。另外，一個系統(tǒng)的平穩(wěn)分布是由該轉(zhuǎn)移矩陣的左特征向量給出的，而不是右特征向量。

轉(zhuǎn)移概率獨立于過去的特殊況為熟知的Bernoulli scheme。僅有兩個可能狀態(tài)的Bernoulli scheme被熟知為伯努利過程

3.科學(xué)應(yīng)用

物理

馬爾可夫鏈通常用來建模排隊理論和統(tǒng)計學(xué)中的建模，還可作為信號模型用于熵編碼技術(shù)，如算術(shù)編碼（著名的LZMA數(shù)據(jù)壓縮算法就使用了馬爾可夫鏈與類似于算術(shù)編碼的區(qū)間編碼）。馬爾可夫鏈也有眾多的生物學(xué)應(yīng)用，特別是人口過程，可以幫助模擬生物人口過程的建模。隱蔽馬爾可夫模型還被用于生物信息學(xué)，用以編碼區(qū)域或基因預(yù)測。

馬爾可夫鏈最近的應(yīng)用是在地理統(tǒng)計學(xué)（geostatistics）中。其中，馬爾可夫鏈用在基于觀察數(shù)據(jù)的二到三維離散變量的隨機模擬。這一應(yīng)用類似于“克里金”地理統(tǒng)計學(xué)（Kriging geostatistics），被稱為是“馬爾可夫鏈地理統(tǒng)計學(xué)”。這一馬爾可夫鏈地理統(tǒng)計學(xué)方法仍在發(fā)展過程中。

因特網(wǎng)應(yīng)用

馬爾可夫模仿文本生成器

馬爾可夫過程，能為給定樣品文本，生成粗略，但看似真實的文本：他們被用于眾多供消遣的“模仿生成器”軟件。馬爾可夫鏈還被用于譜曲。

總結(jié)

以上是生活随笔為你收集整理的马尔科夫链和马尔科夫随机场的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。