UA MATH636 信息論5 信道編碼簡(jiǎn)介

通訊的過程可以用下面這個(gè)流程圖表示。信源發(fā)送一個(gè)隨機(jī)信號(hào)$W$給信源編碼器，編碼器將信號(hào)$W$編碼為$X$后發(fā)送到噪聲信道進(jìn)行傳輸，傳輸?shù)浇邮斩说慕獯a器，解碼器接受到的碼記為$Y$，解碼器對(duì)$Y$進(jìn)行解碼后將完成解碼的信息$V$傳到接收端，$V$其實(shí)就是$W$的一個(gè)估計(jì)量，所以一般也記為$\hat{W}$。

WXYVSourceEncoderNoisy ChannelDecoderReceiver

信源編碼的目的是讓信號(hào)適應(yīng)通訊的物理媒介的傳輸規(guī)則，并要適應(yīng)通訊成本與潛在的信號(hào)失真率。假設(shè)被占用的信道數(shù)目為$n$，定義傳輸率為
$$r=\frac{{\log }_2|W|}{n}bits/chenneluse$$
其中${\log }_2|W|$是信號(hào)的字長。Shannon提到要使傳輸率非零，需要asymptotic vanishing error，即當(dāng)$n\to \infty$時(shí)，通訊的錯(cuò)誤率也趨近于零，這個(gè)概念之后會(huì)更正式地提出來。
要考慮信道編碼就要像對(duì)噪聲信道建模。噪聲信道的輸入$X$和輸出$Y$已經(jīng)比較明確了，只要找到輸入和輸出之間的關(guān)系就可以了。一個(gè)比較直接的做法就是把這個(gè)關(guān)系記為$P(Y|X)$，這個(gè)條件概率是由噪聲信道決定的。定義信道容量（Channel Capacity）
$$C=\underset{p(X)}{\max }I(X;Y)$$
其含義是largest rate of reliable communication。第一篇文章就提到過，$I(X;Y)$是衡量$Y$與$X$的dependence的，它越大說明$Y$和$X$的$depedence$越強(qiáng)。我們希望信號(hào)通過噪聲信道傳輸前后信息盡可能不要失真，也就是傳輸前后的信息要盡可能相關(guān)，所以上面的$C$用來表示信道容量還是合理的。在給定$p(Y|X)$的時(shí)候，$I(X;Y)$關(guān)于$p(X)$是凹函數(shù)，所以存在最大值。之后會(huì)給出這個(gè)定義的證明（信道容量和熵類似都是根據(jù)一些公理定義然后推導(dǎo)出這種形式的，具體可以參考Shannon那篇奠基之作）。下面給好幾個(gè)例子說明如何計(jì)算信道容量。

例1：Binary Symmetric Channel
已知$X,Y=\{0,1\}$，$P(Y=0|X=0)=p,P(Y=1|X=1)=1?p$。計(jì)算這個(gè)信道的信道容量。
根據(jù)定義
$$C=\underset{p(x)}{\max }I(X;Y)=\underset{p(x)}{\max }H(Y)?H(Y|X)$$
注意到$Y$是Bernoulli隨機(jī)變量，因此$H(Y)\le 1$。記$h(p)$為Bernoulli Entropy，
$$h(p)=p{\log }_2\frac{1}{p}+(1?p){\log }_2\frac{1}{1?p}$$
對(duì)于$H(Y|X)$，考慮
$$H(Y|X)=h(p)p(X=1)+h(p)p(X=0)=h(p)$$
因此$C=1?h(p)$。這個(gè)問題比較簡(jiǎn)單，我們甚至可以討論一下這個(gè)噪聲信道的噪聲形式。定義$N～Ber(p)$，則$N$可以表示Binary Symmetric Channel的噪聲，$Y$可以表示為
$$Y=(X+N)mod2$$
即$Y$是信號(hào)$X$與噪聲$N$的異或運(yùn)算的結(jié)果。

例2：Binary Erasure Channel
已知$X=\{0,1\},Y=\{0,1,E\}$，其中$E$表示擦掉上一個(gè)字節(jié)，比如一串$Y$信號(hào)為$1001E010$，傳送到接收端的解碼器上就是$100010$。假設(shè)$p(Y=0|X=0)=p(Y=1|X=1)=1?e$，$p(Y=E|X=0)=p(Y=E|X=1)=e$。計(jì)算這個(gè)信道的信道容量。
考慮$I(X;Y)=H(Y)?H(Y|X)$，計(jì)算
$$H(Y|X)=H(Y|X=0)p(X=0)+H(Y|X=1)p(X=1)=h(e)$$
$Y$的邊緣分布為
$$\begin{gathered} p(Y=E)=p(Y=E|X=0)p(X=0)+p(Y=E|X=1)p(X=1)=e \\ p(Y=0)=(1?e)p(X=0),p(Y=1)=(1?e)p(X=1) \end{gathered}$$
所以
$$\begin{gathered} H(Y)=?e{\log }_{2}e?(1?e)\{p(X=0){\log }_2[(1?e)p(X=0)]+p(X=1){\log }_2[(1?e)p(X=1)]\} \\ =h(e)+(1?e)H(X) \end{gathered}$$
所以
$$I(X;Y)=H(Y)?H(Y|X)=(1?e)H(X)\le 1?e$$
即$C=1?e$，當(dāng)且僅當(dāng)$X$為均勻分布時(shí)上式取等。

總結(jié)

以上是生活随笔為你收集整理的UA MATH636 信息论5 信道编码简介的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。