根植于统计力学的随机方法
1 引言
統計力學的主題圍繞對大系統宏觀平衡態性質的形式化研究，而系統的每個基本元素遵循力學的微觀定律。統計力學的主要目標是從微觀元素推導出宏觀物體的熱力學性質。
系統越有序或者它的概率分布越集中，則熵越小。
2 統計力學
考慮具有許多自由度的物理系統，它可以駐留在大量可能狀態中的任何一個。例如，用pip_ipi?表示一個隨機系統中狀態iii發生的概率：
(式1)pi≥0，對于所有ip_i \geq0，對于所有i \tag{式1}pi?≥0，對于所有i(式1)
且
(式2)∑ipi=1\sum _i p_i = 1 \tag{式2}i∑?pi?=1(式2)
用EiE_iEi?表示系統在狀態iii時的能量，統計熱力學基本結論告訴我們，當系統和它周圍的環境處于熱平衡時，一個基本的結果是狀態iii發生的概率如下：
(式3)pi=1Zexp(?EikBT)p_i = \frac{1}{Z} exp(-\frac{E_i}{k_B T}) \tag{式3}pi?=Z1?exp(?kB?TEi??)(式3)
其中TTT為開爾文絕對溫度，kBk_BkB?為Boltzmann常數，Z為與狀態無關的常數，將式2的定義代入式3中得到
(式4)Z=∑iexp(?EikBT)Z = \sum _i exp(-\frac{E_i}{k_B T}) \tag{式4}Z=i∑?exp(?kB?TEi??)(式4)
規范化量Z稱為狀態或者剖分函數。式3的概率分布稱為典型分布或者Gibbs分布；指數因子（?Ei/kBT-E_i/k_B T?Ei?/kB?T）稱為Boltzmann因子。
對于Gibbs分布：
（1）能量低的狀態比能量高的狀態發生的概率高；
（2）隨著溫度T降低，概率集中在低能狀態的一個更小的子集上。
溫度T可以視為一種偽溫度，它控制神經元"突觸噪聲"的熱波動。將常數KBK_BKB?為單位1而重新度量之，因此可以重新定義概率pip_ipi?和剖分函數Z如下：
(式5)pi=1Zexp(?EiT)p_i = \frac{1}{Z} exp(- \frac{E_i}{T} ) \tag{式5}pi?=Z1?exp(?TEi??)(式5)
和
(式6)Z=∑exp(?EiT)Z = \sum exp(- \frac{E_i}{T}) \tag{式6}Z=∑exp(?TEi??)(式6)
T可以簡單稱為系統溫度，
自由能量和熵
物理系統的Helmholtz自由能量記為F，由剖分函數定義如下：
(式7)F=?Tlog?ZF = - T\log Z \tag{式7}F=?TlogZ(式7)
系統的平均能量定義為：
(式8)<E>=∑ipiEi<E> = \sum_i p_i E_i \tag{式8}<E>=i∑?pi?Ei?(式8)
<.><.><.>表示總體平均運算，可以看出平均能量和自由能量之差為：
(式9)<E>?F=?T∑ipilog?pi<E> - F=-T \sum_i p_i \log p_i \tag{式9}<E>?F=?Ti∑?pi?logpi?(式9)
式子右邊忽略溫度T，稱為系統的熵，表示為：
(式10)H=?∑ipilog?piH = - \sum_i p_i \log p_i \tag{式10}H=?i∑?pi?logpi?(式10)
因此式9可以重寫為
<E>?F=TH<E> -F = TH<E>?F=TH
或等價于
(式11)F=<E>?THF = <E> - TH \tag{式11}F=<E>?TH(式11)
若兩個系統AAA和A′A 'A′彼此熱接觸，假設系統AAA比系統A′A'A′更小，這樣A′A'A′可以看作具有恒溫T的熱存儲器，兩個系統的總熵趨于依照關系式：
ΔH+ΔH′≥0\Delta H + \Delta H'\geq 0ΔH+ΔH′≥0
指系統FFF的自由能量逐漸降低至平衡態時變為最小。即為最小自由能量原則：
隨機系統變元的自由能量的最小值在熱平衡時達到，此時系統服從Gibbs分布，自然偏愛具有最小自由能量的物理系統。
3 馬爾可夫鏈
考慮由多個隨機變量組成的系統，其演化可由一個隨機過程描述，隨機變量XnX_nXn?在時刻n取值xnx_nxn?稱為系統在n時刻的狀態。隨機變量所有可能的值構成的空間稱為系統的狀態空間。如果隨機過程{Xn,n=1,2,...}\lbrace X_n,n =1,2,... \rbrace{Xn?,n=1,2,...}的構造使得Xn+1X_{n+1}Xn+1?的條件概率分布僅依靠于XnX_nXn?的值而與其他以前的值無關，稱這個過程為馬爾可夫鏈。更準確地說，我們有
(式12)P（Xn+1=xn+1∣Xn=xn,...,X1=x1）=P（Xn+1∣Xn=xn）P（X_{n+1} = x_{n+1}|X_n = x_n,...,X_1 = x_1）= P（X_{n+1}|X_n = x_n） \tag{式12}P（Xn+1?=xn+1?∣Xn?=xn?,...,X1?=x1?）=P（Xn+1?∣Xn?=xn?）(式12)
這稱之為馬爾可夫特性。換句話說：
如果系統在n+1n+1n+1時刻出現狀態xn+1x_{n+1}xn+1?的概率僅依賴于系統在n時刻出現狀態xnx_nxn?的概率，則隨機變量序列X1,X2,X3...,Xn,Xn+1X_1,X_2,X_3...,X_n,X_{n+1}X1?,X2?,X3?...,Xn?,Xn+1?稱為馬爾可夫鏈。
轉移概率
在馬爾可夫鏈中，從一個狀態到另一個狀態的轉移是隨機的，但輸出符合卻是確定的。令
(式13)pij=P（Xn+1=j∣Xn=i）p_{ij} = P（X_{n+1} = j|X_n = i） \tag{式13}pij?=P（Xn+1?=j∣Xn?=i）(式13)
表示在n時刻狀態iii轉移到n+1n+1n+1時刻狀態j的轉移概率。既然pijp_{ij}pij?為條件概率，所有的轉移概率必須滿足兩個條件：
(式14)pij≥0,對于所有的i，jp_{ij} \geq 0, 對于所有的i，j \tag{式14}pij?≥0,對于所有的i，j(式14)
(式15)∑jpij=1，對于所有的i\sum_j p_{ij } = 1，對于所有的i \tag{式15}j∑?pij?=1，對于所有的i(式15)
將假定轉移是固定的，不隨時間改變，即式13所有時間n成立，在這種情況下，馬爾可夫鏈稱為關于時間是齊次的。
若系統具有有限數目的可能狀態，例如K個狀態，則轉移概率構成一個KXKK X KKXK的矩陣
(式16)P=∣p11p12...p1kp21p22...p2k....pk1pk2...pkk∣P = \begin{vmatrix} p_{11} &p_{12} & ... &&p_{1k} \\p_{21} &p_{22} & ... &&p_{2k} \\ &....\\\\ p_{k1} &p_{k2} & ... &&p_{kk} \\ \end{vmatrix} \tag{式16}P=∣∣∣∣∣∣∣∣∣∣?p11?p21?pk1??p12?p22?....pk2??.........??p1k?p2k?pkk??∣∣∣∣∣∣∣∣∣∣?(式16)
它的元素滿足式14和式15所述的條件。而后一條件就是P的每行的和為1.這種類型的矩陣稱為隨機矩陣。任何隨機矩陣可以作為轉移概率矩陣。
令pij(m)p_{ij}^{(m)}pij(m)?表示從狀態iii到狀態jjj的m步轉移概率：
(式17)pij(m)=P(Xn+m=xj∣Xn=xi)，m=1,2,...p_{ij}^{(m)} = P(X_{n+m} = x_j|X_n = x_i)，m=1,2,... \tag{式17} pij(m)?=P(Xn+m?=xj?∣Xn?=xi?)，m=1,2,...(式17)
(式18)pij(m+1)=∑kpik(m)pkj，m=1,2,...p_{ij}^{(m+1)} = \sum_k p_{ik}^{(m)}p_{kj}，m =1,2,... \tag{式18}pij(m+1)?=k∑?pik(m)?pkj?，m=1,2,...(式18)
(式19)pij(m+m)=∑kpik(m)pkj(n)，m=1,2,...p_{ij}^{(m+m)} = \sum_k p_{ik}^{(m)}p_{kj}^{(n)}，m =1,2,... \tag{式19}pij(m+m)?=k∑?pik(m)?pkj(n)?，m=1,2,...(式19)
馬爾可夫鏈的詳細說明
(1) 一個由如下項目定義的隨機模型：
有限K可能狀態，表示為S={1，2，…K}。
一些列相應的概率{pijp_{ij}pij?}，其中pijp_{ij}pij?為從狀態iii到jjj的狀態轉移概率，并且滿足
pij≥0p_{ij} \geq 0pij?≥0
∑jpij=1，對于所有的i\sum_j p_{ij } = 1，對于所有的i j∑?pij?=1，對于所有的i
(2) 給定已描述的隨機模型，馬爾可夫鏈是由下列一系列的隨機變量X0,X1,X2,....X_0,X_1,X_2,....X0?,X1?,X2?,....所給定，其中他們的值根據相應的馬爾可夫特征取值于狀態S：
P(Xn+1=j∣Xn=i,Xn?1,....,X0=i0)=P(Xn+1=j∣Xn=i)P(X_{n+1} = j|X_n=i,X_{n-1},....,X_0=i_0) =P(X_{n+1} = j|X_n = i)P(Xn+1?=j∣Xn?=i,Xn?1?,....,X0?=i0?)=P(Xn+1?=j∣Xn?=i)
常返性
假設一個馬爾可夫鏈從狀態iii開始，它以概率1返回狀態i，則稱狀態i為常返的，也就是說
pi=P(狀態i的每一個返回）=1p_i = P(狀態i的每一個返回）=1pi?=P(狀態i的每一個返回）=1
若狀態pi<1p_i<1pi?<1,則稱狀態iii為瞬態。
如果馬爾可夫鏈從一常態開始，則該狀態在時間上將無窮次重現，如果從一瞬態開始，它將只能有限次重現
周期性
上圖顯示一個具有常返態的馬爾可夫鏈，此鏈經過一系列子態，經過三倍次移動后以相同子態結束。圖示說明這個常返的馬爾可夫鏈具有周期性。
不可約馬爾可夫鏈
遍歷馬爾可夫鏈
4 Metroplis算法
5 模擬退火
6 Gibbs抽樣
7 Boltzmann機
總結
以上是生活随笔為你收集整理的根植于统计力学的随机方法的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【洛谷P5114】八月脸【边分治】【闵可
- 下一篇： 【WC2018】通道【边分治】【虚树】【