UA MATH636 信息論6 微分熵

• Differential Entropy
• • Conditional Differential Entropy
  • Differential Entropy of Gaussian r.v.
• 信源編碼基礎(chǔ)
• • Typical Set
  • 數(shù)據(jù)壓縮

之前討論的熵都是基于離散型隨機(jī)變量討論的，現(xiàn)在考慮基于連續(xù)型隨機(jī)變量來定義熵。假設(shè) $X$是連續(xù)型隨機(jī)變量，概率密度函數(shù)為 $f(x)$，定義 $X$的支撐集為
$$Supp(X)=\{x:f(x)>0\}$$

Differential Entropy

定義微分熵為
$$h(X)=?{\int }_{Supp(X)}f(x)\ln f(x)dx$$
因?yàn)?span id="ze8trgl8bvbq" class="katex--inline">$f(x)$要用來做對(duì)數(shù)運(yùn)算，所以要排除掉$f(x)=0$的部分，一般就把這個(gè)積分直接定義在$X$的支撐集上了。

例1（均勻分布的微分熵）
如果$X～U[0,a]$，則$f(x)=\frac{1}{a}$，
$$h(X)=?{\int }_0^a\frac{1}{a}\ln \frac{1}{a}dx=\ln a$$

與離散型隨機(jī)變量的熵不同，微分熵可能為負(fù)。在這個(gè)例子中，如果$0<a<1$，$h(X)<0$。另外，$e^{h(X)}$表示支撐集$Supp(X)$的Lebesgue測(cè)度，即
$$e^{h(X)}=|Supp(X)|$$
在這個(gè)例子中，$e^{h(X)}=a$，$a$是區(qū)間$[0,a]$的Lebesgue測(cè)度。

例2（正態(tài)分布的微分熵）
如果$X～N(0,{\sigma }^2)$，則
$$\begin{gathered} f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (?\frac{x^2}{2{\sigma }^2}) \\ \ln f(x)=?\frac{x^2}{2{\sigma }^2}?\ln \sqrt{2\pi }\sigma \end{gathered}$$
支撐集為$Supp(X)=\mathbb{R}$，從而
$$\begin{gathered} h(X)=?{\int }_{?\infty }^{\infty }f(x)\ln f(x)dx \\ ={\int }_{?\infty }^{\infty }[\frac{x^2}{2{\sigma }^2}+\ln \sqrt{2\pi }\sigma ]f(x)dx \\ =\frac{E{X}^2}{2{\sigma }^2}+\ln \sqrt{2\pi }\sigma =\ln \sqrt{2\pi }\sigma +\frac{1}{2}=\frac{1}{2}\ln 2\pi e{\sigma }^2 \end{gathered}$$
根據(jù)這個(gè)函數(shù)，如果${\sigma }^2\to 0$，正態(tài)分布的概率密度函數(shù)趨近于delta函數(shù)$\delta (x)$，此時(shí)$h(X)\to ?\infty$。

例3（離散型隨機(jī)變量的微分熵）
如果$X$是離散型隨機(jī)變量，分布為$p(x_i),i=1,2,?,n$。這個(gè)分布的概率密度可以表示為
$$f(x)=\sum _{i=1}^{n}p(x_i)\delta (x_i)$$
因此$h(X)\to ?\infty$。另一種思考方式更簡(jiǎn)單，因?yàn)?span id="ze8trgl8bvbq" class="katex--inline">$|Supp(X)|=0$，所以$h(X)=\ln |Supp(X)|\to ?\infty$。

Conditional Differential Entropy

假設(shè)$(X,Y)$是二元連續(xù)型隨機(jī)變量，則joint differential entropy為
$$h(X,Y)=?{\int }_{Supp(X,Y)}f(x,y)\ln f(x,y)dxdy$$
由此可以定義conditional differential entropy
$$\begin{gathered} h(X|Y)=?{\int }_{Supp(X,Y)}f(x,y)\ln f(x|y)dxdy \\ =?{\int }_{Supp(X,Y)}f(x,y)\ln f(x,y)dxdy+{\int }_{Supp(X,Y)}f(x,y)\ln f(y)dxdy \\ =h(X,Y)?h(Y) \end{gathered}$$
這說明鏈?zhǔn)椒▌t仍然成立。K-L Divergence為
$$D(f||g)={\int }_{Supp(X)}f(x)\ln \frac{f(x)}{g(x)}dx$$
互信息為
$$I(X;Y)=h(X)?h(X|Y)=h(Y)?h(Y|X)=D(f(x,y)||f(x)f(y))$$

Differential Entropy of Gaussian r.v.

假設(shè)$X～N_n(\mu ,\Sigma )$，則
$$h(X)=\frac{1}{2}\ln ((2\pi e{)}^n\det (\Sigma ))$$
我們都知道$\mu$是位置參數(shù)，它居然是對(duì)entropy沒有貢獻(xiàn)的，entropy完全取決于形狀參數(shù)，下面推導(dǎo)一下這個(gè)式子。
$$f(x)=(2\pi {)}^{?n/2}\det (\Sigma {)}^{?1/2}\exp \left(?\frac{1}{2}(x?\mu {)}^T{\Sigma }^{?1}(x?\mu )\right)$$
計(jì)算
$$\begin{gathered} h(X)=?{\int }_{\mathcal{X}}f(x)\ln f(x)dx \\ =?{\int }_{\mathcal{X}}\left(?\frac{1}{2}(x?\mu {)}^T{\Sigma }^{?1}(x?\mu )?\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))\right)f(x)dx \end{gathered}$$
第二項(xiàng)為
$${\int }_{\mathcal{X}}\left(\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))\right)f(x)dx=\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))$$
第一項(xiàng)為
$$\begin{gathered} {\int }_{\mathcal{X}}\left(\frac{1}{2}(x?\mu {)}^T{\Sigma }^{?1}(x?\mu )\right)f(x)dx \\ =\frac{1}{2}E\left[(x?\mu {)}^T{\Sigma }^{?1}(x?\mu ) \\ \right] \\ =\frac{1}{2}E\left[tr((x?\mu {)}^T{\Sigma }^{?1}(x?\mu ))\right] \\ =\frac{1}{2}E\left[tr({\Sigma }^{?1}(x?\mu )(x?\mu {)}^T)\right] \\ =\frac{1}{2}tr({\Sigma }^{?1}E[(x?\mu )(x?\mu {)}^T])=\frac{1}{2}tr{I}_n=\frac{n}{2} \end{gathered}$$
因此
$$h(X)=\frac{n}{2}+\frac{1}{2}\ln ((2\pi {)}^n\det (\Sigma ))=\frac{1}{2}\ln ((2\pi e{)}^n\det (\Sigma ))$$
這些結(jié)論以后在考察Gauss信道的時(shí)候會(huì)很有用。

例4（二元正態(tài)分布的互信息）
假設(shè)$X,Y～N(\mu ,{\sigma }^2)$，并且$Corr(X,Y)=\rho$，則
$$\begin{gathered} h(X)=h(Y)=\frac{1}{2}\ln 2\pi e{\sigma }^2 \\ h(X,Y)=\frac{1}{2}\ln [(2\pi e{)}^2{\sigma }^4(1?{\rho }^2)] \\ I(X;Y)=h(X)+h(Y)?h(X,Y)=?\frac{1}{2}\ln (1?{\rho }^2) \end{gathered}$$

信源編碼基礎(chǔ)

Typical Set

假設(shè)總體$f(x)$的一組簡(jiǎn)單隨機(jī)樣本記為$\{X_1,?,X_n\}$，可以將AEP直接推廣到連續(xù)的情況：
$$?\frac{1}{n}\ln f(x_1,?,x_n){\to }_{p}h(X)$$
也可以類似地定義typical set：
$$A_{?}^{(n)}=\{(x_1,?,x_n):|?\frac{1}{n}\ln f(x_1,?,x_n)?h(X)|\le ?\}$$
離散情況下我們考察的是typical set包含的元素?cái)?shù)目，連續(xù)情況下我們關(guān)注typical set的測(cè)度，通常我們計(jì)算typical set的Lebesgue測(cè)度。下面給出typical set的性質(zhì)：

$P(A_{?}^{(n)})>1??$，當(dāng)$n$足夠大時(shí)成立；

$(1??)e^{n(h(X)??)}\le |A_{?}^{(n)}|\le e^{n(h(X)+?)}$，下界僅適用于$n$足夠大的情況；

第一條可以用AEP證，與離散情況類似，這里給出第二條的證明：
$$\begin{gathered} 1={\int }_{Supp(X{)}^n}f(x_1,?,x_n)d{x}_1?d{x}_n \\ \ge {\int }_{A_{?}^{(n)}}f(x_1,?,x_n)d{x}_1?d{x}_n \\ \ge {\int }_{A_{?}^{(n)}}{e}^{?n(h(X)+?)}d{x}_1?d{x}_n=e^{?n(h(X)+?)}|A_{?}^{(n)}| \end{gathered}$$
這樣就證明了第二條的上界，下界也是類似的，用上性質(zhì)1就可以證了。這兩條性質(zhì)告訴我們，包含大部分概率(即$1??$)的序列的集合中Lebesgue測(cè)度最小為$e^{nh(X)}$。

數(shù)據(jù)壓縮

實(shí)際上即使是對(duì)連續(xù)信號(hào)，計(jì)算機(jī)處理時(shí)也需要做quantize。對(duì)$Supp(X)$做分割，假設(shè)按每個(gè)bin的長度為$\Delta$進(jìn)行分割來做離散化，定義
$$X_d=x_i,if{x}_i\le X<x_i+\Delta$$
從而
$$P(X_d=x_i)=P(x_i\le X<x_i+\Delta )\approx f(x_i)\Delta$$
$X_d$的熵（離散型隨機(jī)變量的熵）為
$$\begin{gathered} H(X_d)=?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)\Delta \\ =?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)?\ln \Delta \end{gathered}$$
簡(jiǎn)單變形一下，
$$H(X_d)+\ln \Delta =?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)$$
這個(gè)分割的話，當(dāng)$\Delta \to 0$，
$$\begin{gathered} H(X_d)+\ln \Delta \to H(X_d) \\ ?\sum _{i=?\infty }^{\infty }f(x_i)\Delta \ln f(x_i)\to h(X) \end{gathered}$$
因此，如果我們?nèi)∽銐蛐〉?span id="ze8trgl8bvbq" class="katex--inline">$\Delta$，可以做近似
$$H(X_d)=h(X)?\ln \Delta$$
例如取$\Delta =e^{?n}$，則
$$H(X_d)=h(X)+n$$
其含義是用$h(X)+n$個(gè)nats來做這個(gè)連續(xù)型隨機(jī)變量的quantize。

總結(jié)

以上是生活随笔為你收集整理的UA MATH636 信息论6 微分熵的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。