相對熵（relative entropy），又被稱為 KL散度、Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是兩個(gè)概率分布（probability distribution）間差異的非對稱性度量 。在信息理論中，相對熵等價(jià)于兩個(gè)概率分布的信息熵（Shannon entropy）的差值

相對熵是兩個(gè)概率分布P和Q差別的非對稱性的度量。 相對熵是用來度量使用基于Q的分布來編碼服從P的分布的樣本所需的額外的平均比特?cái)?shù)。典型情況下，P表示數(shù)據(jù)的真實(shí)分布，Q表示數(shù)據(jù)的理論分布、估計(jì)的模型分布、或P的近似分布。
設(shè) 是隨機(jī)變量 上的兩個(gè)概率分布，則在離散和連續(xù)隨機(jī)變量的情形下，相對熵的定義分別為 ：



相對熵可以衡量兩個(gè)隨機(jī)分布之間的距離，當(dāng)兩個(gè)隨機(jī)分布相同時(shí)，它們的相對熵為零，當(dāng)兩個(gè)隨機(jī)分布的差別增大時(shí)，它們的相對熵也會(huì)增大。所以相對熵可以用于比較文本的相似度，先統(tǒng)計(jì)出詞的頻率，然后計(jì)算相對熵。另外，在多指標(biāo)系統(tǒng)評估中，指標(biāo)權(quán)重分配是一個(gè)重點(diǎn)和難點(diǎn)，也通過相對熵可以處理

與50位技術(shù)專家面對面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的AI理论知识基础（26）-相对熵,KL散度的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。