《信息论基础》课件第3章 离散信道.ppt
《《信息论基础》课件第3章 离散信道.ppt》由会员分享,可在线阅读,更多相关《《信息论基础》课件第3章 离散信道.ppt(89页珍藏版)》请在文库网上搜索。
1、信宿信道信源通信系统的简化模型噪声 信源 每发一个符号提供平均信息量H(X)无噪信道信宿可确切无误的接收信息 传递作用 随机干扰作用1主要内容主要内容离散信道的统计特性和数学模型 信道传输的各类熵、平均互信息及其性质 信道容量及其计算方法 23.1 信道的基本概念1 信道的分类信道的分类 在信息论中,信道是传输信息的通道,是信息传输系统的重要组成部分之一。信道的分类有:按信道输入端的个数(信道的用户多少)可分为单用户信道和多用户信道;按信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道;按信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道;3按照信道输入/输出信号取值幅度集合
2、以及取值时间集合的离散性和连续性可分为离散信道和波形信道;按照信道输入/输出信号取值幅度集合的离散性和连续性可分为离散信道和连续信道;按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。42 离散信道的数学模型X=(X1,Xi,XN)P(y/x)Y=(Y1,Yi,YN)X:a1,a2,ar Y:b1,b2,bs (i=1,2,r;j=1,2,s)X 信道 Y51)无扰(无噪声)信道 信道中没有随机性的干扰或干扰很小,输出信号y与输入信号x之间有确定的对应的关系,其信道传递图的特点:一一对应,不交叉。yf(x)62)有干扰无记忆信道 输入和输出间因噪声干扰而没有确定的对
3、应关系,但任一时刻的输出只统计依赖于对应时刻的输入。其信道传递图特点是:一对多但不交叉。或者:7充要条件:证明 充分性:若信道传递概率满足上式,则离散信道为无记忆信道。8必要性:若离散信道无记忆,则必须满足上式。证明:根据离散无记忆信道的定义可知:93)有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。例如在数字信道中,由于信道滤波使频率特性不理想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关,而且还与此以前其他时刻信道的输入符号及输出符号有关,这样的信道称为有记忆信道。103.单符号离散信道的数学模型 数学模型数学模型:X p(
4、bj/ai)Y p(bj/ai)传递概率X:a1,a2,ar,(Y/X):p(bj/ai),Y:b1,b2,bs 0 p(bj/ai)1 (i=1,2,r;j=1,2,s)11输入输出对应关系:P 信道矩阵12传递图13 例:二元对称信道 这是一种很重要的特殊信道输入符号集X:(0,1)输出符号集Y:(0,1),这里rs2测定的传递概率是:(i=1,2)1p a1=0 0=b11p a2=1 1=b2pp14对于这样一个二元对称信道的数学模型也可用信道矩阵来表示,即:同样,也可用图示法表示其数学模型:15例:二元删除信道这种信道的输入符号集X:(0,1),输出符号集Y:(0,2,1),传递概率
5、为:它的信道矩阵为:16它的传递特性也可用传递图表示:17 假设信道的输入随机变量X(信源X)的统计特性由如下的信源空间表示:X P:X:a1 a2 arP(X):p(a1)p(a2)p(ar)18给定信道的信道矩阵是:19单符号离散信道的一些概率关系:单符号离散信道的一些概率关系:l“输入符号ai,输出符号bj”的联合概率:l“输出符号bj”的概率pYbjp(bj):l“输出(信宿收到)符号bj后,推测输入(信源发送)符号ai”的后验概率p(XaiYbj)p(aibj):203.2 平均互信息 1.1.信道疑义度信道疑义度 输入信源输入信源X X的熵:的熵:接收到输出符号接收到输出符号b b
6、j j后关于后关于X X的的后验熵后验熵:21 条件熵:后验熵在输出y的取值范围内是个随机量,将后验熵对随机变量Y求期望,即信道疑义度。H(X/Y)=22 信道疑义度是在信道输出端接收到输出随机变量Y后,对输入端的随机变量X尚存在的平均不确定性。它表示信号通过信道传输后所引起的信息损失,故又称为损失熵。记为H(X/Y),基本离散信道X,P(y/x),Y中 H(X/Y)一般离散信道中X,P(y/x),Y:H(X/Y)其中p(xy)是联合概率,p(x/y)信道的后验概率。23 表示收到某消息Y后平均每个符号获得的关于X的信息量。记为I(X;Y),得:I(X;Y)H(X)H(X)H(X/Y)H(X/
7、Y)2.2.平均互信息平均互信息24 与各类熵的关系与各类熵的关系:I(X;Y)=H(X)=H(X)H(X/Y)H(X/Y)H(Y)H(Y)H(Y/X)H(Y/X)H(X)H(X)H(Y)H(Y)H(XY)H(XY)其中,其中,H(X)H(X)是信道输入端信源的信息熵;是信道输入端信源的信息熵;H(Y)H(Y)是是信道输出端输出信源的信息熵;信道输出端输出信源的信息熵;H(X/Y)H(X/Y)是信道疑是信道疑义度;义度;H(Y/X)H(Y/X)是已知输入变量是已知输入变量X X的条件下,对于随的条件下,对于随机变量机变量Y Y尚存在的不确定义,称为噪声熵。尚存在的不确定义,称为噪声熵。25H(
8、XY)左边的圆代表随机变量X的熵,右边的圆代表随机变量Y的熵,两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。H(X)IX;YH(Y)H(X|Y)是信道疑义度,表示符号通过有噪信道后所引起的信息量的损失,故也称为损失熵。H(Y|X)是由信道噪声引起的,和信道统计特性p(y|x)相关的熵,称为噪声熵。H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)26各种熵之间的关系 名称名称 符号符号 关关 系系 图图 示示 无无 条条 件件 熵熵 条条 件件 熵熵 条条 件件 熵熵 联联 合合 熵熵 交交 互互 熵熵27两种极端情况无噪一一对
9、应信道:H(X/Y)H(X/Y)0 0 H(Y/X)H(Y/X)0 0 I(X;Y I(X;Y)H(X)H(X)H(Y)H(Y)信道输入端与输出端统计独立:H(X/Y)H(X/Y)H(X)H(X)H(Y/X)H(Y/X)H(Y)H(Y)I(X;Y)I(X;Y)0 028解:(1)根据p(aibj)p(ai)p(bjai),得到各个联合概率:例:已知信源X,P:,信道P(Y/X),并且p(b1/a1)=0.98,p(b2/a1)=0.02,p(b1/a2)=0.20,p(b2/a2)=0.80,求在该信道上传输的平均交互信息量I(X;Y)和疑义度H(X/Y)、噪声熵H(Y/X)、联合熵H(XY)
10、。p(a1b1)p(a1)p(b1/a1)=0.50.980.49p(a1b2)p(a1)p(b2/a1)=0.50.020.01p(a2b1)p(a2)p(b1/a2)=0.50.200.10p(a2b2)p(a2)p(b2/a2)=0.50.800.4029 (2)根据p(bj)p(ai)p(bjai),得到Y集中各符号概率:p(b1)=p(a1b1)+p(a2b1)=0.49+0.10=0.59p(b2)=p(a1b2)+p(a2b2)=0.01+0.40=0.41 30(3)根据p(ai/bj)=p(aibj)/p(bj),得各后验概率:p(a1/b1)=p(a1b1)/p(b1)=0
11、.49/0.59=0.831p(a2/b1)=p(a2b1)/p(b1)=0.10/0.59=0.169p(a1/b2)=p(a1b2)/p(b2)=0.01/0.41=0.024p(a2/b2)=p(a2b2)/p(b2)=0.40/0.41=0.976 31(4)H(X)=-(0.5log0.5+0.5log0.5)=1比特/符号 H(Y)=-(0.59log0.59+0.41log0.41)=0.98比特/符号H(XY)=-(0.49log0.49+0.01log0.010.10log0.10+0.40log0.40)=1.43比特/2个符号 32(6)疑义度:(7)噪声熵:(5)I(X
12、;Y)=H(X)H(Y)H(XY)=10.981.430.55比特/符号 333.3.平均条件互信息平均条件互信息 定义在已知事件 的条件下,接收到y后获得关于某事件x条件互信息 与互信息的区别仅在于先验概率和后验概率都是在某一特定条件下的取值。34 对于三个离散随机变量对于三个离散随机变量X,Y,ZX,Y,Z中,在已知中,在已知Z Z的的条件下,条件下,X X和和Y Y之间的平均条件互信息为:之间的平均条件互信息为:I(X;Y/Z)=I(X;Y/Z)=H(X/Z)H(X/Z)H(X/YZ)H(X/YZ)=H(Y/Z)H(Y/Z)H(Y/XZ)H(Y/XZ)=H(X/Z)H(X/Z)H(Y/Z
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论基础 信息论基础课件第3章 离散信道 信息论 基础 课件 离散 信道