相對熵（relative entropy）又稱為KL散度（Kullback–Leibler divergence，簡稱KLD），信息散度（information divergence），信息增益（informationgain）。

　　KL散度是兩個概率分布P和Q差別的非對稱性的度量。 KL散度是用來?度量使用基于Q的編碼來編碼來自P的樣本平均所需的額外的比特個數。?典型情況下，P表示數據的真實分布，Q表示數據的理論分布，模型分布，或P的近似分布。

　　定義：

　　對一個離散隨機變量的兩個概率分布P和Q來說，他們的KL散度定義為：D(P||Q)=∑P(i)lnP(i)/Q(i)，對于連續的隨機變量，定義類似。（來自百度百科）

?

???如果知道概率密度p，用熵H（Entropy）就可以估計出圖像的信息量，而與其解釋無關。熵的概念是根源于熱力學和統計學，而熵的信息論的形成是源于香農（Shannon），也成為信息熵（information entropy）。

信息熵的直覺理解與關聯于給定概率分布的事件的不確定性大小有關。熵可作為“失調”的度量。當失調水平上升是，熵就增加而事件就越難預測。

???假設一下離散隨機變量X的可能結果（也稱做狀態）是X1,...,Xn,設P()是出項?(k=1,...,n)的概率，熵定義為

隨機變量X的熵X所有可能的出現的如下乘積的累加和：出現的概率與概率的倒數值對數的乘積。?也稱作出現的驚異（surprisal）。隨機變量X的熵是其出現驚異的期望值。

??這個公式中的對數的底決定所量度的熵的單位。如果底為2則熵的單位是位（bit(s)）。

??熵度量隨機變量實現的不確定性。對香農來說，它充當了俘獲了一條信息中所含的信息量這一概念的代表，而完全不同于該信息的那部分嚴格確定的和由其內在結構所能預測的含義。在圖形處理上可以用熵來估計一幅圖像的冗余性。

總結

以上是生活随笔為你收集整理的Entropy的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。