1、信宿信道信源通信系统的简化模型噪声 信源 每发一个符号提供平均信息量H(X)无噪信道信宿可确切无误的接收信息 传递作用 随机干扰作用1主要内容主要内容离散信道的统计特性和数学模型 信道传输的各类熵、平均互信息及其性质 信道容量及其计算方法 23.1 信道的基本概念1 信道的分类信道的分类 在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有：按信道输入端的个数(信道的用户多少）可分为单用户信道和多用户信道；按信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道；按信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道；3按照信道输入/输出信号取值幅度集合
2、以及取值时间集合的离散性和连续性可分为离散信道和波形信道；按照信道输入/输出信号取值幅度集合的离散性和连续性可分为离散信道和连续信道；按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。42 离散信道的数学模型X=(X1,Xi,XN)P(y/x)Y=(Y1,Yi,YN)X:a1,a2,ar Y:b1,b2,bs (i=1,2,r；j=1,2,s)X 信道 Y51）无扰(无噪声)信道 信道中没有随机性的干扰或干扰很小，输出信号y与输入信号x之间有确定的对应的关系，其信道传递图的特点：一一对应，不交叉。yf(x)62）有干扰无记忆信道 输入和输出间因噪声干扰而没有确定的对
3、应关系，但任一时刻的输出只统计依赖于对应时刻的输入。其信道传递图特点是：一对多但不交叉。或者:7充要条件：证明 充分性：若信道传递概率满足上式，则离散信道为无记忆信道。8必要性：若离散信道无记忆，则必须满足上式。证明：根据离散无记忆信道的定义可知：93）有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。103.单符号离散信道的数学模型 数学模型数学模型:X p(
4、bj/ai)Y p(bj/ai)传递概率X:a1,a2,ar，(Y/X):p(bj/ai)，Y:b1,b2,bs 0 p(bj/ai)1 (i=1,2,r；j=1,2,s)11输入输出对应关系：P 信道矩阵12传递图13 例：二元对称信道 这是一种很重要的特殊信道输入符号集X：(0，1)输出符号集Y：(0，1)，这里rs2测定的传递概率是：(i=1,2)1p a1=0 0=b11p a2=1 1=b2pp14对于这样一个二元对称信道的数学模型也可用信道矩阵来表示，即:同样，也可用图示法表示其数学模型:15例：二元删除信道这种信道的输入符号集X：(0，1)，输出符号集Y：(0，2，1)，传递概率
5、为：它的信道矩阵为：16它的传递特性也可用传递图表示：17 假设信道的输入随机变量X(信源X)的统计特性由如下的信源空间表示：X P:X:a1 a2 arP(X):p(a1)p(a2)p(ar)18给定信道的信道矩阵是：19单符号离散信道的一些概率关系：单符号离散信道的一些概率关系：l“输入符号ai，输出符号bj”的联合概率：l“输出符号bj”的概率pYbjp(bj)：l“输出(信宿收到)符号bj后，推测输入(信源发送)符号ai”的后验概率p(XaiYbj)p(aibj)：203.2 平均互信息 1.1.信道疑义度信道疑义度 输入信源输入信源X X的熵：的熵：接收到输出符号接收到输出符号b b
6、j j后关于后关于X X的的后验熵后验熵：21 条件熵：后验熵在输出y的取值范围内是个随机量，将后验熵对随机变量Y求期望，即信道疑义度。H(X/Y)=22 信道疑义度是在信道输出端接收到输出随机变量Y后，对输入端的随机变量X尚存在的平均不确定性。它表示信号通过信道传输后所引起的信息损失，故又称为损失熵。记为H(X/Y)，基本离散信道X,P(y/x),Y中 H(X/Y)一般离散信道中X,P(y/x),Y：H(X/Y)其中p(xy)是联合概率，p(x/y)信道的后验概率。23 表示收到某消息Y后平均每个符号获得的关于X的信息量。记为I(X;Y),得：I(X;Y)H(X)H(X)H(X/Y)H(X/
7、Y)2.2.平均互信息平均互信息24 与各类熵的关系与各类熵的关系:I(X;Y)=H(X)=H(X)H(X/Y)H(X/Y)H(Y)H(Y)H(Y/X)H(Y/X)H(X)H(X)H(Y)H(Y)H(XY)H(XY)其中，其中，H(X)H(X)是信道输入端信源的信息熵；是信道输入端信源的信息熵；H(Y)H(Y)是是信道输出端输出信源的信息熵；信道输出端输出信源的信息熵；H(X/Y)H(X/Y)是信道疑是信道疑义度；义度；H(Y/X)H(Y/X)是已知输入变量是已知输入变量X X的条件下，对于随的条件下，对于随机变量机变量Y Y尚存在的不确定义，称为噪声熵。尚存在的不确定义，称为噪声熵。25H(
8、XY)左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。H(X)IX;YH(Y)H(X|Y)是信道疑义度，表示符号通过有噪信道后所引起的信息量的损失，故也称为损失熵。H(Y|X)是由信道噪声引起的，和信道统计特性p(y|x)相关的熵,称为噪声熵。H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)26各种熵之间的关系 名称名称 符号符号 关关 系系 图图 示示 无无 条条 件件 熵熵 条条 件件 熵熵 条条 件件 熵熵 联联 合合 熵熵 交交 互互 熵熵27两种极端情况无噪一一对
9、应信道：H(X/Y)H(X/Y)0 0 H(Y/X)H(Y/X)0 0 I(X;Y I(X;Y)H(X)H(X)H(Y)H(Y)信道输入端与输出端统计独立：H(X/Y)H(X/Y)H(X)H(X)H(Y/X)H(Y/X)H(Y)H(Y)I(X;Y)I(X;Y)0 028解：(1)根据p(aibj)p(ai)p(bjai)，得到各个联合概率：例：已知信源X,P:,信道P(Y/X),并且p(b1/a1)=0.98,p(b2/a1)=0.02,p(b1/a2)=0.20,p(b2/a2)=0.80,求在该信道上传输的平均交互信息量I(X;Y)和疑义度H(X/Y)、噪声熵H(Y/X)、联合熵H(XY)
10、。p(a1b1)p(a1)p(b1/a1)=0.50.980.49p(a1b2)p(a1)p(b2/a1)=0.50.020.01p(a2b1)p(a2)p(b1/a2)=0.50.200.10p(a2b2)p(a2)p(b2/a2)=0.50.800.4029 (2)根据p(bj)p(ai)p(bjai)，得到Y集中各符号概率：p(b1)=p(a1b1)+p(a2b1)=0.49+0.10=0.59p(b2)=p(a1b2)+p(a2b2)=0.01+0.40=0.41 30(3)根据p(ai/bj)=p(aibj)/p(bj)，得各后验概率：p(a1/b1)=p(a1b1)/p(b1)=0
11、.49/0.59=0.831p(a2/b1)=p(a2b1)/p(b1)=0.10/0.59=0.169p(a1/b2)=p(a1b2)/p(b2)=0.01/0.41=0.024p(a2/b2)=p(a2b2)/p(b2)=0.40/0.41=0.976 31(4)H(X)=-(0.5log0.5+0.5log0.5)=1比特/符号 H(Y)=-(0.59log0.59+0.41log0.41)=0.98比特/符号H(XY)=-(0.49log0.49+0.01log0.010.10log0.10+0.40log0.40)=1.43比特/2个符号 32（6）疑义度：（7）噪声熵：（5）I(X
12、;Y)=H(X)H(Y)H(XY)=10.981.430.55比特/符号 333.3.平均条件互信息平均条件互信息 定义在已知事件 的条件下，接收到y后获得关于某事件x条件互信息 与互信息的区别仅在于先验概率和后验概率都是在某一特定条件下的取值。34 对于三个离散随机变量对于三个离散随机变量X,Y,ZX,Y,Z中，在已知中，在已知Z Z的的条件下，条件下，X X和和Y Y之间的平均条件互信息为：之间的平均条件互信息为：I(X;Y/Z)=I(X;Y/Z)=H(X/Z)H(X/Z)H(X/YZ)H(X/YZ)=H(Y/Z)H(Y/Z)H(Y/XZ)H(Y/XZ)=H(X/Z)H(X/Z)H(Y/Z
13、)H(Y/Z)H(XY/Z)H(XY/Z)35 当已知 ，后，总共获得关于 的互信息：I(x;y)+I(x;z/y)同理：I(x;yz)I(x;z)+I(x;y/z)I(X;YI(X;YZ Z)=H(X;Y)=H(X;Y)=H(X;Y)=H(X;Y)H(X;Z/Y)H(X;Z/Y)H(X;Z/Y)H(X;Z/Y)=H(X;Z)=H(X;Z)=H(X;Z)=H(X;Z)H(X;Y/Z)H(X;Y/Z)H(X;Y/Z)H(X;Y/Z)361）非负性 I(X;Y)0物理意义：I(X;Y)不会是负值，即从平均的角度总能消除一些不确定性。除非输入与输出统计独立才不能接收到任何信息，但也不会失去信息。4
14、4 平均互信息的特性平均互信息的特性372）极值性 I(X;Y)H(X)物理意义：从某一事件(Y或X)提取关于另一事件(X或Y)的信息量，最多只有这个事件所包含的所有信息量H(X)或H(Y)。383）交互性 I(X;Y)=I(Y;X)物理意义：I(X;Y)表示从Y中提取的关于X的信息量，I(Y;X)表示从X当中提取的关于Y的信息量。特别的：当X、Y统计独立时，就不可能从一个随机变量中获得关于另一个随机变量的任何信息。394）凸状性 所以，所以，平均互信息平均互信息I(XI(X;Y)Y)只是信源只是信源X X的概率分布的概率分布P(P(x x)和信道的传递概率和信道的传递概率P(P(y/xy/x
15、)的函数，的函数，即：即：I(X;Y)=I(X;Y)=f f P(xP(x),P(y|x),P(y|x)平均互信息是信源概率分布 和表示输入输出之间关系的条件概率或称信道传递概率分布 的函数。若固定信道，调整信源：若固定信源，调整信道：41上凸性 I(X;Y)是关于输入信源概率分布p(x)的上凸函数，是关于信道传递概率p(y|x)的下凸函数。证明:先假设信道是固定信道，则其信道特性固定，即转移概率p(y|x)不受p(x)的变化影响。令p1(x)和p2(x)为信源的两种概率分布，相应的互信息分别记为：Ip1(x)和IP2(X)设任意正数01，且有p(x)=p1(x)+(1-)p2(x)42结论：
16、IX;Y是输入信源概率分布p(x)的上凸函数。43l 平均互信息I(X;Y)是输入信源的概率分布P(x)的型凸函数。（1 1）对对固定信固定信道，选择不同的信源道，选择不同的信源(其概率分布不其概率分布不同同)与信道连接，在信道输出端接收到每个符号后与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。获得的信息量是不同的。（2 2）对于每一个固定信道，一定存在有一种信源对于每一个固定信道，一定存在有一种信源(某一种概率分布某一种概率分布P(x)P(x)，使输出端获得的平均信息，使输出端获得的平均信息量为最大。量为最大。平均互信息是信道转移概率 的下凸函数固定信源 ，通过调整信道 而得
17、；即有两个不同的信道特性 和 将信道两端的输入和输出即X和Y联系起来，如果用小于1的正数 对 和 进行线性组合，得到信道特性：所谓下凸函数即45l 平均互信息I(X;Y)是信道传递的概率P(y/x)的型凸函数。当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰(噪声)最大，而输出端获得的信息量最小。3.3 3.3 信道容量的计算方法信道容量的计算方法信息传输率：(比特/信道符号）(比特/秒）若信道平均每传送一个符号需要 t 秒，则信息传输速率：47信道容量：(比特/信道符号)(比特/秒)p(ai)匹配信源拉格朗日
18、乘子法481 离散无噪无损信道的容量无噪无损信道每列只有一个非零元素：495051信道输入符号信道输入符号集符号数集符号数有噪无损信道a1b1b2b3p11p12p13a2b4b5b6p24p25p2652每列只有一个非零元素：信道输入符信道输入符号集符号数号集符号数无噪有损信道b1a3a2a1111b2a6a5a411154每行只有一个非零元素：55信道输出符信道输出符号集符号数号集符号数2 对称信道的信道容量 输入对称信道的容量 信道转移矩阵的所有行向量都是第一行的某种置换。输入对称信道的容量即是找到一种分布，使信道输出的熵最大。56 输出对称信道的容量 信道转移矩阵的所有列向量都是第一列
19、的某种置换。即找到使H(Y/X)取得最小值的信道输入概率分布。57对称信道的容量行：同一集合列：同一集合 信道转移矩阵的所有行向量都是第一行的某种置换；所有列向量都是第一列的某种置换。5859例：对于二元对称信道60(比特/信道符号)计算信道的信道容量。强对称信道的容量输入 r 与输出 s 相等：传递概率：r=s61626364 准对称信道的容量行：同一集合列：非同一集合6566 H(Y)=C=log r -（Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和）67例：可分成：68计算信道的信道容量。I(ai;bj)I(X;Y)非负性交互性极值性上凸性I(X;Y)有极大值信道容量无
20、噪无损信道对称信道693.4 离散无记忆扩展信道及其信道容量 数学模型：X,P(y/x),Y 当信道传输消息序列时，输入随机序列与输出随机序列之间的传递概率等于对应时刻的随机变量的传递概率的乘积。随机矢量X的可能取值有 个，随机矢量Y的可能取值有 个。根据平均互信息的定义，无记忆信道的根据平均互信息的定义，无记忆信道的N次扩展信道的次扩展信道的平均互信息平均互信息：I(X;Y)I(XN;YN)H(XN)H(XN/YN)H(YN)H(YN/XN)70 定理定理3.4 3.4 若信道的输入随机序列为 X=(X1X2XN)，通过信道传输，接收到的随机序列为Y=(Y1Y2YN)。假若信道是无记忆信道是
21、无记忆的，即信道传递概率满足 P(y/x)则存在 I(X;Y)I(Xi;Yi)其中，Xi和Yi是随机序列X和Y中对应的第i位随机变量。71 定理定理3.3.5 5 若信道的输入随机序列为X=(X1X2XN)，通过信道传输，接收到的随机序列为Y=(Y1Y2YN)，信道的传递概率为P(y/x)，假若信源是无记忆信源是无记忆的，则存在 I(X;Y)I(Xi;Yi)其中，Xi和Yi是随机序列X和Y中对应的第i位随机变量。72 假若信源与信道都是无记忆信源与信道都是无记忆，即等式成立 I(X;Y)I(Xi;Yi)若信道的输入随机序列为X=(X1X2XN)中的Xi取自于同一信源符号集，并具有同一种概率分布
22、，且输出随机序列为Y=(Y1Y2YN)中的Yi取自于同一信源符号集,则：I(Xi;Yi)N I(X;Y)所以，对于离散无记忆信道的N次扩展信道，信源也是无记忆时：I(X;YX;Y)N I(X;Y)73 信道容量：CN=I(X;Y)=I(Xi;Yi)=I(Xi;Yi)Ci =NC 其中I(X;Y)和C是离散无记忆信道的互信息及其信道容量。其最佳输入分布是信源X无记忆及每一分量Xi各自达到最佳分布p(x)。74独立并联信道及其信道容量 独立并联信道，N个信道的联合传递概率满足 P(y/x)P(y1y2yN/x1x2xN)=所以 I(X1X2XN;Y1Y2YN)I(Xi;Yi)C1,2,N=I(X1
23、X2XN;Y1Y2YN)(Ci=I(Xi;Yi)最佳输入分布是输入符号Xi相互独立，且各自达到最佳分布。75 3.5 串联信道的互信息和数据处理定理 串接信道：X 信道1 信道2 信道3 信道n 数据处理：在接收端对接收到的信号或数据进行适当的处理。76数据处理定理XYZa1a2arb1b2bsc1c2ckp(bj/ai)p(cl/aibj)(i=1,2,r;j=1,2,s;l=1,2,k)a)I(XY;Z)b)I(Y;Z)c)I(X;Z)d)I(X;Y)77(1)I(XY;Z)I(Y;Z)（定理3.6）仅当p(cl/aibj)=p(cl/bj)(i=1,2,r;j=1,2,s;l=1,2,k
24、)I(XY;Z)=I(Y;Z)证明：787980(2)I(XY;Z)I(X;Z)仅当p(cl/aibj)=p(cl/ai)(i=1,2,r;j=1,2,s;l=1,2,k)I(XY;Z)=I(X;Z)证明同(1)81(3)证明：82(i=1,2,r;j=1,2,s;l=1,2,k)（*）K-C方程83 数据处理定理：数据处理不会增加从Z中获取关于X的平均交互信息量。(4)证明：84=P(Z/XY)85(i=1,2,r;j=1,2,s;l=1,2,k)86 结论：两级串联信道输入与输出消息之间的平结论：两级串联信道输入与输出消息之间的平均互信息量既不会超过第均互信息量既不会超过第I I级信道输入
25、与输出之间级信道输入与输出之间的平均互信息量，也不会超过第的平均互信息量，也不会超过第IIII级信道输入与级信道输入与输出之间的平均互信息量。输出之间的平均互信息量。数据处理定理说明：当对信号、数据或消息进数据处理定理说明：当对信号、数据或消息进行多级处理时，每处理一次，就有可能损失一部行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号、数据或消分信息，也就是说数据处理会把信号、数据或消息变成更有用的形式，但是决不会创造出新的信息变成更有用的形式，但是决不会创造出新的信息。即息。即信息不增原理信息不增原理。873.6 信源与信道匹配 信道剩余度CI(X;Y)信道相对剩余度1 对于无损、对称等一类信道，可通过无失真信源编码使信道剩余度接近于零，使信源和信道达到匹配。883.7 信道容量的MATLAB实现 l 信道容量的相关原理：l 实验内容：平均互信息随着信源输入分布和信道转移概率变化的关系；求信道容量。89
个人主页
