课程主页:https://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=612&pid=973

http://shannon.cm.nctu.edu.tw/it18.htm

老师主页:http://shannon.cm.nctu.edu.tw/

课程视频:https://www.youtube.com/playlist?list=PLj6E8qlqmkFsWS54o6gNWeDGXeI7c3eUd

这次回顾第九讲,这一讲主要介绍了数据传输和信道容量,对应视频15,16。

可靠传输

  • 可靠传输的定义
    • 信息可以以任意小的错误率传输。
  • 怎么做?
    • 利用发送方和接收方站点之间受信道噪声影响最小的公共部分。
    • 我们将看到,这些公共部分很可能被信道输入和信道输出之间的互信息捕获。

记号

  • 一个数据传输系统,由如下特征描述
    • $W$表示传输消息。
    • $X^n=(X_1,\ldots, X_n)$表示信道输入符号$W$对应的码字。
    • $Y^n=(Y_1,\ldots, Y_n)$表示由于信道输入$X^n$而接收到的向量。
    • $\hat W$表示从$Y_n$重构的消息。

离散无记忆信道

离散信道

离散通信信道由如下特征描述

  • 一个有限的输入$\mathcal X$。

  • 有限输出$\mathcal Y$。

  • $n$维转移分布序列

    对于每个$x^n\in \mathcal X^n$,该分布都满足

    其中$y^n\in \mathcal Y^n$。我们还假设该$n$维分布满足如下条件(对于每个$x^i,y^i,P_{X_{i+1}|X^i},i=1,2,\ldots$)

离散无记忆信道

离散无记忆信道(DMC)是转移分布序列$P_{Y^n| X^n}$满足如下条件的信道(对每个$x^n\in\mathcal X^n, y^n\in \mathcal Y^n,n=1,2\ldots$)。

即DMC可以由转移概率分布矩阵$\mathbb Q:=[p_{x,y}]\in \mathbb R^{|\mathcal X|\times |\mathcal Y|}$描述,该矩阵满足

常用信道

恒等(无噪声)信道

假设$|\mathcal X| =|\mathcal Y|$,恒等(无噪声)信道的定义如下

二元对称信道(BSC)

  • $\varepsilon\in [0,1]$被称称为信道交叉概率或误码率。

  • 信道的转移概率矩阵为

  • $\varepsilon=0$退化为恒等(无噪声)信道。

二进制擦除信道(BEC)

  • 在BEC中,接收器知道接收到的比特流或码字中错误的比特的确切位置,但不知道它们的实际值。

  • 这些错误比特在传输过程中被声明为“擦除”。

  • 信道的转移概率矩阵为

    其中$0\le \alpha \le 1$被称为信道的擦除概率。

二进制对称擦除信道(BSEC)

  • BSC与BEC结合,可以得到一个既有错误又有擦除的二进制信道。

  • 通道的转移概率矩阵为

    其中$\varepsilon, \alpha\in [0,1]$是信道的交叉概率和擦除概率。

  • $\alpha=0$时退化为BSC,$\varepsilon=0$时退化为BEC。

  • 更一般的,$\mathbb Q$可以推广为

$q$元对称信道
  • 给定整数$q\ge 2$,则$q$元对称信道是BSC的扩展;它具有大小$q$的字母$\mathcal X =\mathcal Y = \{0, 1,\ldots,q - 1\}$,信道转移矩阵为

    其中$0\le \varepsilon \le 1$是信道的对称错误率。

  • 当$q=2$时退化为BSC。

$q$元擦除信道
  • 给定一个整数$q\ge 2$,还可以考虑BEC的扩展,产生所谓的$q$元擦除信道。具体的,该通道的输入和输出字母分别为$\mathcal X = \{0, 1,\ldots,q - 1\}$和$\mathcal Y = \{0, 1,\ldots,q - 1, E\}$,其中$E$表示擦除,信道转移分布为

    其中$0\le \alpha \le 1$为擦除概率。

  • 当$q=2$时退化为BEC。