這一篇文章主要是想捋一捋KL散度、最大熵、指數族分布這些東西之間的關系，這是一些非常基本的知識點，剛入門機器學習的時候，傻傻分不清楚，現在回過頭來看，其實很多東西都可以串起來，不得不感嘆數學真是一個很奇妙的東西。參考資料還是昨天發的視頻鏈接以及結合我研一上的姜峰老師的計算機視覺這門課。

馬爾可夫隨機場

馬爾隨機場就是無向圖模型，對于無向圖而言，它比有向圖簡單。直觀上來說它應該比有向圖更簡單，而且它應該也和有向圖具有相似的性質，尤其是條件獨立性和因子分解應該是相互等價的。馬爾可夫隨機場的獨立性一共有三個，分別是：全局獨立性、局部獨立性以及成對馬爾科夫性，三個性質是可以相互推導的。

1.條件獨立性：

1）.全局馬爾可夫性（對應D劃分）

集合ABC互不相交，若集合A到集合C的所有路徑中至少有一個節點位于B集合中（也就是A集合要想到達C集合必須經過B集合），當B集合被觀測到，則集合A和集合C獨立，這個性質對應著有向圖中的D劃分。

2）局部馬爾科夫性（對應馬爾可夫毯）

在給定相鄰節點(b,c,d)的前提下，a節點與其他節點(e, f)相互獨立。

3）成對馬爾科夫性（與最大團的性質有關）

節點a與節點b是兩個不相鄰的節點，在除了a節點與b節點以外的節點都被觀測到的情況下，a節點與b節點相互獨立。

2．因子分解

團：一個關于節點的集合，集合中的節點都是相互連接的。

最大團：在一個團中添加任何一個節點都會破壞團的性質，這樣的集合稱為最大團。

將馬爾可夫隨機場分解為多個團之后，就可以寫出整個隨機變量的概率：

表示第i個最大團， 表示團 中的變量集合。其中Z是歸一化函數。 因為是概率，所以要求為非負，對于非負的一般就取指數函數，這個也被稱為吉布斯分布（也叫玻爾茲曼分布）。吉布斯分布是指數型函數，可以寫作：

Hammersley-Clifford定理將馬爾可夫隨機場的條件獨立性與因子分解兩者聯合起來了，并證明了兩者是等價的。

從吉布斯自由能到馬爾可夫隨機場：

馬爾可夫隨機場的定義（局部馬爾可夫性）：

能否利用因子分解得到馬爾可夫隨機場的證明，如果可以，那么就證明可以從因子分解得到馬爾科夫隨機場。

在觀測到

節點的相鄰節點的條件下，它與其他節點是否相互獨立，我們這里設定 節點與其相鄰節點的集合為 ,其他節點的集合為

這里最后一步將其轉換為在整個變量上的積分，將

集合中的變量全部邊緣化掉就剩下 的概率。

這是參考資料[1]給出的，其實觀察會發現，引入R這一步的主要作用好像是在最后變為全局變量的時候有用，因此可以寫的更簡潔一點：

后面從吉布斯分布到馬爾可夫隨機場的屬性推導就確實太難了，可以查看一下參考資料[1]。

KL散度、最大熵、指數族函數、高斯分布、吉布斯分布之間的關系

這里還有一個彩蛋，直覺告訴我們：吉布斯既然表示的是一種能量，能量和熵之間很明顯應該是存在某種聯系的，數學的美妙就美妙在這里，如果有系統的學習過概率統計的同學應該知道，最大熵可以推出指數族分布，在滿足熵最大的條件下，我們推導出的變量分布都是滿足指數族分布的，也包括高斯分布，高斯分布就是滿足一階和二階充分統計量的指數族分布。

變量的吉布斯分布：

這個形式就是指數族分布的形式。接下來推導一下基于熵最大如何得到指數族分布。說到最大熵原理就得提一下計算機視覺得四種先驗，對于計算機視覺建模而言，目前主要是存在四種先驗規則：1.光滑先驗，2.統計規律先驗，3.編碼稀疏性先驗，4.非局部自相似先驗。最大熵其實就是統計規律先驗。KL散度與最大熵之間是否有聯系？其實是有聯系的。就把很多思路串聯起來了。首先KL散度與熵最大有關，最大熵可以得到指數族分布，吉布斯分布是指數族分布的一種，吉布斯分布用來描述馬爾科夫隨機場。

從KL散度與熵最大：

寫出KL散度：

最小化KL散度：

給定一個模型的熵：

在給定約束條件（給統計量）下：

根據拉格朗日乘子法就等價于：

如果把最后的約束看作是KL散度中的

兩者就是等價的，那么能不能這樣認為：我個人覺得是可以的，因為前面這一部分代表用q去近似p，也就是說根據已知統計量去近似未知統計量，那么對于在熵的模型中，它就是等價于給定在給定統計量的前提下，使得熵最大的模型。

從熵最大模型推導出指數族函數：

直接對

求導：

令倒數為0，得到：

這樣就可以得到指數族分布：

由于

表示概率，因此需要歸一化處理，最終得到：

這就是指數族函數，指數族分布是機器學習當中一類非常重要的函數，它與很多內容都息息相關，也是自然界中廣泛存在的一類概率分布。這樣整個東西都串起來了，這是不是就與吉布斯分布類似。

從KL散度到極大似然估計：

這個表達式有兩項，第一項是常量，因為它表達的是真實分布，所以式子可以等價為：

將積分換為累加：

這里令

這就得到了極大似然估計：

參考資料：

[1]Hammersley-Clifford定理 https://blog.csdn.net/csuyzt/article/details/81709439

總結

以上是生活随笔為你收集整理的kl散度度量分布_概率图简要模型笔记（二）马尔可夫随机场与KL散度、最大熵、指数族分布、高斯分布、极大似然分布...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。