1. 概述

KL距離，是 Kullback-Leibler 差異（Kullback-Leibler Divergence）的簡稱，也叫做相對熵（Relative Entropy）。它衡量的是相同事件空間里的兩個概率分布的差異情況。

2. 定義

$$D(p\Vert q)=\sum _{x\in X}p(x)\log \frac{p(x)}{q(x)}$$
其中，$p(x)$ 與$q(x)$是兩個概率分布。
定義中約定：$0log(0/q)=0$、$plog(p/0)=\infty$

3.說明：

• 兩個概率分布的差距越大，KL距離越大
• 當兩個概率分布相同時，KL距離為0

總結

以上是生活随笔為你收集整理的KL距离相对熵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。