文章目錄

• 多符號離散信道
• • 多符號離散信道容量
• 信道的剩余度
• 單維連續(xù)信道
• • 平均交互信息量
  • 連續(xù)信道的信道容量
  • 高斯加性信道的信道容量
• 信道的剩余度
• 單維連續(xù)信道
• • 平均交互信息量
  • 連續(xù)信道的信道容量
  • 高斯加性信道的信道容量

多符號離散信道

? 總體上看，多符號離散信道是單符號信道的N次擴展信道，就是信道的輸入是一個隨機矢量，輸出也是一個隨機矢量。 $\mathrm{I}(\mathrm{X};\mathrm{Y})=\mathrm{I}\left({\mathrm{X}}_1{\mathrm{X}}_2?{\mathrm{X}}_{\mathrm{N}};{\mathrm{Y}}_1{\mathrm{Y}}_2?{\mathrm{Y}}_{\mathrm{N}}\right)\le {\sum }_{k=1}^N\mathrm{I}\left({\mathrm{X}}_{\mathrm{k}};{\mathrm{Y}}_k\right)$ ，信源為N維離散平穩(wěn)無記憶信源時等號成立。

多符號離散信道容量

信道的剩余度

? 只有特定的信源才能使得信道達到它的容量，那么對于一般的信源，其傳輸率$R=I(X;Y)$并未達到最大，信道的信息傳輸率有待提高，這樣一個提升的空間我們稱之為剩余度$=C?I(X;Y)$。

信道的相對剩余度=$\frac{C?I(X;Y)}{C}$。

單維連續(xù)信道

同單符號離散信道一樣，確定信道時都要確定其輸入、輸出和傳遞特性，
故，假設(shè):
（1）輸入?yún)^(qū)間 $\mathrm{X}:[\mathrm{a},\mathrm{b}]$
（2）輸出區(qū)間 Y: $\left[{\mathrm{a}}^{\prime },{\mathrm{b}}^{\prime }\right]$
傳遞概率密度: $p(y/x)\left(\mathrm{a}\le \mathrm{x}\le \mathrm{b};{\mathrm{a}}^{\prime }\le \mathrm{y}\le {\mathrm{b}}^{\prime }\right)$
$$\text{?且?}{\int }_{a^{\prime }}^{b^{\prime }}p(y/x)dy=1(a\le x\le b)$$

平均交互信息量

$I(X;Y)=h(X)?h(X/Y)$，微分熵之差。

連續(xù)信道的信道容量

平均交互信息量的最大值。

高斯加性信道的信道容量

加性信道的信道容量：加性信道的信道容量C僅僅取決于加性噪聲N的相對熵和輸出隨機變量Y的最大相對熵。

$\begin{array}{rl}\mathrm{C}=& \underset{p(x)}{\max }I(X;Y)=\underset{p(x)}{\max }[\mathrm{h}(\mathrm{Y})?\mathrm{h}(\mathrm{Y}/\mathrm{X})]=\underset{p(x)}{\max }[\mathrm{h}(\mathrm{Y})]?\mathrm{h}(\mathrm{N})\end{array}$

當(dāng)信道中有高斯噪聲，則只有輸入的高斯隨機變量時，才能達到信道容量。信道容量與信噪比有關(guān)。

當(dāng)輸入為高斯信號，則高斯噪聲會使得信道的平均互信息量達到最小。

信道的剩余度

? 只有特定的信源才能使得信道達到它的容量，那么對于一般的信源，其傳輸率$R=I(X;Y)$并未達到最大，信道的信息傳輸率有待提高，這樣一個提升的空間我們稱之為剩余度$=C?I(X;Y)$。

信道的相對剩余度=$\frac{C?I(X;Y)}{C}$。

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-rCGAriui-1610624925551)(信息論復(fù)習(xí).assets/image-20210103114446451.png)]

單維連續(xù)信道

同單符號離散信道一樣，確定信道時都要確定其輸入、輸出和傳遞特性，
故，假設(shè):
（1）輸入?yún)^(qū)間 $\mathrm{X}:[\mathrm{a},\mathrm{b}]$
（2）輸出區(qū)間 Y: $\left[{\mathrm{a}}^{\prime },{\mathrm{b}}^{\prime }\right]$
傳遞概率密度: $p(y/x)\left(\mathrm{a}\le \mathrm{x}\le \mathrm{b};{\mathrm{a}}^{\prime }\le \mathrm{y}\le {\mathrm{b}}^{\prime }\right)$
$$\text{?且?}{\int }_{a^{\prime }}^{b^{\prime }}p(y/x)dy=1(a\le x\le b)$$

平均交互信息量

$I(X;Y)=h(X)?h(X/Y)$，微分熵之差。

連續(xù)信道的信道容量

平均交互信息量的最大值。

高斯加性信道的信道容量

加性信道的信道容量：加性信道的信道容量C僅僅取決于加性噪聲N的相對熵和輸出隨機變量Y的最大相對熵。

$\begin{array}{rl}\mathrm{C}=& \underset{p(x)}{\max }I(X;Y)=\underset{p(x)}{\max }[\mathrm{h}(\mathrm{Y})?\mathrm{h}(\mathrm{Y}/\mathrm{X})]=\underset{p(x)}{\max }[\mathrm{h}(\mathrm{Y})]?\mathrm{h}(\mathrm{N})\end{array}$

當(dāng)信道中有高斯噪聲，則只有輸入的高斯隨機變量時，才能達到信道容量。信道容量與信噪比有關(guān)。

當(dāng)輸入為高斯信號，則高斯噪聲會使得信道的平均互信息量達到最小。

總結(jié)

以上是生活随笔為你收集整理的信息论4—多符号离散信道，单维连续信道的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。