《信息论与编码_第6讲_信源及其信息量5_连续信源.pptx
《《信息论与编码_第6讲_信源及其信息量5_连续信源.pptx》由会员分享,可在线阅读,更多相关《《信息论与编码_第6讲_信源及其信息量5_连续信源.pptx(64页珍藏版)》请在文库网上搜索。
1、第1页2024/4/14第二章第二章 信源及其信息量信源及其信息量本章重点本章重点:信源的统计特性和数学模型、各类信源的信息测:信源的统计特性和数学模型、各类信源的信息测度度熵及其性质。熵及其性质。2.1 单符号离散信源单符号离散信源2.2 多符号离散平稳信源多符号离散平稳信源2.3 连续信源连续信源2.4 离散无失真信源编码定理离散无失真信源编码定理2.5 小结小结Electronics Engineering Department,XXXX Xxx Xxxx Xxx Xxxx第2页2024/4/142.3 连续信源连续信源2.3.1 一些基本概念一些基本概念2.3.2 连续信源的熵连续信源
2、的熵2.3.3 几种特殊连续信源的熵几种特殊连续信源的熵2.3.4 连续熵的性质连续熵的性质2.3.5 最大连续熵定理最大连续熵定理第3页2024/4/142.3.1 一些基本概念一些基本概念(1)连续信源定义连续信源定义(2)随机过程及其分类随机过程及其分类(3)通信系统中的信号通信系统中的信号(4)平稳遍历的随机过程平稳遍历的随机过程2.3连续信源第4页2024/4/142.3.1 一些基本概念一些基本概念(1)连续信源定义连续信源定义连续信源:连续信源:输出消息在时间和取值上都连续的信源输出消息在时间和取值上都连续的信源。例子:语音、电视等。例子:语音、电视等。连续信源输出的消息是随机的
3、,与随机过程连续信源输出的消息是随机的,与随机过程 x x(t t)相对相对应。可用应。可用有限维概率密度函数族有限维概率密度函数族描述。描述。pn(x1,x2,xn,t1,t2,tn)2.3连续信源第5页2024/4/142.3.1 一些基本概念一些基本概念(2)随机过程及其分类随机过程及其分类 随机过程随机过程 随机过程的分类随机过程的分类2.3连续信源(2)随机过程及其分类随机过程及其分类 随机过程随机过程随机过程定义:随机过程定义:随机过程随机过程 x x(t t)可以看成由一系列时间函数可以看成由一系列时间函数 xi(t)所组成,其中所组成,其中 i=1,2,3,,并称,并称 xi(
4、t)为样本函数。为样本函数。第6页2024/4/142.3.1 一些基本概念一些基本概念2.3连续信源第7页2024/4/142.3.1 一些基本概念一些基本概念(2)随机过程及其分类随机过程及其分类 随机过程随机过程每个样本函数是随机过程的一个实现。每个样本函数是随机过程的一个实现。每个样本函数不仅在时间上,而且在幅度取值上都是连续变每个样本函数不仅在时间上,而且在幅度取值上都是连续变化的波形。化的波形。在某一固定的瞬时时刻在某一固定的瞬时时刻 t=ti,各个样本函数的取值,成为一,各个样本函数的取值,成为一个连续型的随机变量个连续型的随机变量 。一般用一般用 n 维概率密度函数族维概率密度
5、函数族 pn(x1,x2,xn,t1,t2,tn)来描来描述随机过程的统计特性,述随机过程的统计特性,n 越大,描述越完善。越大,描述越完善。2.3连续信源第8页2024/4/142.3.1 一些基本概念一些基本概念(2)随机过程及其分类随机过程及其分类 随机过程随机过程 连续型信源特点连续型信源特点q 消息数是无限的消息数是无限的。输出的每个可能的消息是随机过程输出的每个可能的消息是随机过程 x(t)中的一个样本函数。中的一个样本函数。q 对于样本函数来说,它是时间对于样本函数来说,它是时间 t 的连续函数,时间的取值的连续函数,时间的取值为不可数的无限多个。为不可数的无限多个。2.3连续信
6、源第9页2024/4/142.3.1 一些基本概念一些基本概念(2)随机过程及其分类随机过程及其分类 随机过程随机过程 连续型信源特点连续型信源特点q 当固定某一瞬时当固定某一瞬时 t=tk 时,信源的输出是一个随机变量时,信源的输出是一个随机变量 X,X 的取值又是连续的,为不可数的无限多个值。因此连续信的取值又是连续的,为不可数的无限多个值。因此连续信源可能有的消息数为无限多个。源可能有的消息数为无限多个。q 连续型信源,可用连续型信源,可用有限维概率密度函数族有限维概率密度函数族以及以及各维概率密各维概率密度函数有关的统计量度函数有关的统计量来描述。来描述。2.3连续信源第10页2024
7、/4/142.3.1 一些基本概念一些基本概念(2)随机过程及其分类随机过程及其分类 随机过程的分类随机过程的分类分类:分类:根据统计特性,连续随机过程可分为根据统计特性,连续随机过程可分为平稳平稳与与非平稳非平稳随随机过程机过程两大类两大类。平稳随机过程:平稳随机过程:统计特性(各维概率密度函数)不随时间平统计特性(各维概率密度函数)不随时间平移而变化。移而变化。非平稳随机过程:非平稳随机过程:统计特性随时间平移而变化。统计特性随时间平移而变化。2.3连续信源第11页2024/4/142.3.1 一些基本概念一些基本概念(3)通信系统中的信号通信系统中的信号一般认为:一般认为:通信系统中的信
8、号都是平稳的随机过程通信系统中的信号都是平稳的随机过程。虽然在无线通信系统中,受衰落干扰的无线电信号属于虽然在无线通信系统中,受衰落干扰的无线电信号属于非平稳随机过程,但在正常通信条件下,都可近似地当非平稳随机过程,但在正常通信条件下,都可近似地当做平稳随机过程或做平稳随机过程或分段平稳分段平稳的随机过程来处理。的随机过程来处理。2.3连续信源第12页2024/4/142.3.1 一些基本概念一些基本概念(4)平稳遍历的随机过程平稳遍历的随机过程随机过程随机过程 x(t)中某一样本函数中某一样本函数 x(t)的的时间平均值时间平均值定义:定义:随机过程随机过程 x(t)在某时刻在某时刻 ti
9、所取的随机变量所取的随机变量 的的统计统计平均值平均值(集平均)定义:(集平均)定义:遍历的随机过程遍历的随机过程遍历的随机过程遍历的随机过程:时间平均与统计平均相等,即:时间平均与统计平均相等,即:2.3连续信源第13页2024/4/142.3.2 连续信源的熵连续信源的熵(1)计算连续信源熵的两种方法计算连续信源熵的两种方法(2)连续信源的种类连续信源的种类(3)连续信源的数学描述连续信源的数学描述(4)连续信源的熵连续信源的熵(5)连续信源的联合熵和条件熵连续信源的联合熵和条件熵2.3连续信源第14页2024/4/142.3.2 连续信源的熵连续信源的熵(1)计算连续信源熵的两种方法计算
10、连续信源熵的两种方法 计算连续信源一般有两种方法:计算连续信源一般有两种方法:第一种方法:第一种方法:把连续消息经过把连续消息经过时间抽样和幅度量化时间抽样和幅度量化变成变成离散消息,再用前面介绍的计算离散信源的方法进行计离散消息,再用前面介绍的计算离散信源的方法进行计算。算。第二种方法:第二种方法:通过时间抽样把连续消息变换成时间离散通过时间抽样把连续消息变换成时间离散的函数,它是未经幅度量化的抽样脉冲序列,可看成是的函数,它是未经幅度量化的抽样脉冲序列,可看成是量化单位量化单位x 趋近于零趋近于零的情况来定义和计算连续信源熵。的情况来定义和计算连续信源熵。2.3连续信源第15页2024/4
11、/142.3.2 连续信源的熵连续信源的熵(2)连续信源的种类连续信源的种类与单符号和多符号离散信源类似,连续信源也分为与单符号和多符号离散信源类似,连续信源也分为单变单变量量和和多变量多变量。多变量连续信源属于有记忆信源,直接计算有记忆连续多变量连续信源属于有记忆信源,直接计算有记忆连续信源的熵十分困难。一般处理方法是采用某种变换信源的熵十分困难。一般处理方法是采用某种变换把有把有记忆信源变成无记忆信源记忆信源变成无记忆信源,然后再计算信源熵。,然后再计算信源熵。由于多变量的情况比较复杂,限于学时,我们只对单变由于多变量的情况比较复杂,限于学时,我们只对单变量连续信源的信息测度进行讨论。量连
12、续信源的信息测度进行讨论。2.3连续信源第16页2024/4/142.3.2 连续信源的熵连续信源的熵(3)连续信源的数学描述连续信源的数学描述 单变量连续信源的输出是取值连续的随机变量。可用变单变量连续信源的输出是取值连续的随机变量。可用变量的量的概率密度概率密度、变量间的、变量间的条件概率密度条件概率密度和和联合概率密度联合概率密度描述。描述。一维概率密度函数一维概率密度函数 条件概率密度和联合概率密度函数条件概率密度和联合概率密度函数2.3连续信源第17页2024/4/142.3.2 连续信源的熵连续信源的熵(3)连续信源的数学描述连续信源的数学描述 一维概率密度函数一维概率密度函数 随
13、机变量随机变量 X 的的一维概率密度函数一维概率密度函数(边缘概率密度函数)为:(边缘概率密度函数)为:2.3连续信源第18页2024/4/142.3.2 连续信源的熵连续信源的熵(3)连续信源的数学描述连续信源的数学描述 条件概率密度和联合概率密度函数条件概率密度和联合概率密度函数条件概率密度函数:条件概率密度函数:pY/X(y/x),pX/Y(x/y)联合概率密度函数:联合概率密度函数:它们之间的关系为:它们之间的关系为:p pXYXY(xyxy)=)=p pX X(x x)p pY Y/X X(y y/x x)=)=p pY Y(y y)p pX X/Y Y(x x/y y)边缘概率密度
14、函数满足:边缘概率密度函数满足:因为概率密度函数是不同的函数,所以用脚标来加以区分,以免混因为概率密度函数是不同的函数,所以用脚标来加以区分,以免混因为概率密度函数是不同的函数,所以用脚标来加以区分,以免混因为概率密度函数是不同的函数,所以用脚标来加以区分,以免混淆。为了简化书写,往往省去脚标,但在使用时要注意。淆。为了简化书写,往往省去脚标,但在使用时要注意。淆。为了简化书写,往往省去脚标,但在使用时要注意。淆。为了简化书写,往往省去脚标,但在使用时要注意。2.3连续信源第19页2024/4/142.3.2 连续信源的熵连续信源的熵(4)连续信源的熵连续信源的熵 单变量连续信源数学模型单变量
15、连续信源数学模型 连续信源的熵连续信源的熵 举例举例 连续信源熵的意义连续信源熵的意义2.3连续信源第20页2024/4/142.3.2 连续信源的熵连续信源的熵(4)连续信源的熵连续信源的熵 单变量连续信源数学模型单变量连续信源数学模型单变量连续信源数学模型:单变量连续信源数学模型:R 是连续变量是连续变量 X 的取值范围。的取值范围。先将连续信源在先将连续信源在时间上离散化时间上离散化,再对连续变量进行,再对连续变量进行量化分层量化分层,并用离散变量来逼近连续变量。量化间隔越小,离散变量与并用离散变量来逼近连续变量。量化间隔越小,离散变量与连续变量越接近,连续变量越接近,当量化间隔趋近于零
16、时,离散变量就等于当量化间隔趋近于零时,离散变量就等于连续变量。连续变量。2.3连续信源第21页2024/4/142.3.2 连续信源的熵连续信源的熵(4)连续信源的熵连续信源的熵 单变量连续信源数学模型单变量连续信源数学模型 数学模型:数学模型:设设 p(x)如图如图2.3.1所示。把连续随机变量所示。把连续随机变量 X 的取值分割成的取值分割成 n 个个小区间,各小区间等宽,即:小区间,各小区间等宽,即:=(ba)/n。则变量落在第。则变量落在第 i 个个小区间的概率为:小区间的概率为:其中其中 xi 是是 a+(i1)到到 a+i 之间的某一值。当之间的某一值。当p(x)是是x的连续的连
17、续函数时,由中值定理可知,必存在一个函数时,由中值定理可知,必存在一个 xi 值使上式成立。值使上式成立。2.3连续信源第22页2024/4/142.3.2 连续信源的熵连续信源的熵(4)连续信源的熵连续信源的熵 单变量连续信源数学模型单变量连续信源数学模型这样连续变量这样连续变量 x 就可用取值为就可用取值为 xi(i=1,2,n)的离散变量近的离散变量近似。连续信源被量化成离散信源。似。连续信源被量化成离散信源。2.3连续信源第23页2024/4/142.3.2 连续信源的熵连续信源的熵(4)连续信源的熵连续信源的熵 连续信源的熵连续信源的熵上式右端的第一项一般是定值,而第二项在上式右端的
18、第一项一般是定值,而第二项在 0 时是时是一无限大量。丢掉后一项,定义连续信源的熵为:一无限大量。丢掉后一项,定义连续信源的熵为:上式定义的熵在形式上和离散信源相似,也满足离散熵上式定义的熵在形式上和离散信源相似,也满足离散熵上式定义的熵在形式上和离散信源相似,也满足离散熵上式定义的熵在形式上和离散信源相似,也满足离散熵的主要特性,如可加性,但在概念上与离散熵有差异因的主要特性,如可加性,但在概念上与离散熵有差异因的主要特性,如可加性,但在概念上与离散熵有差异因的主要特性,如可加性,但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。为它失去了离散熵的部分含义和性质。为它失去了离散熵的
19、部分含义和性质。为它失去了离散熵的部分含义和性质。2.3连续信源第24页2024/4/142.3.2 连续信源的熵连续信源的熵(4)连续信源的熵连续信源的熵 举例举例若连续信源的统计特性为均匀分布的概率密度函数:若连续信源的统计特性为均匀分布的概率密度函数:当当(ba)1 时,时,h(X)0,为负值,即,为负值,即连续熵不具备非连续熵不具备非负性。负性。2.3连续信源第25页2024/4/142.3.2 连续信源的熵连续信源的熵(4)连续信源的熵连续信源的熵 连续信源熵的意义连续信源熵的意义 连续信源熵有关问题说明连续信源熵有关问题说明q 连续信源熵并不是实际信源输出的绝对熵;连续信源熵并不是
20、实际信源输出的绝对熵;q 连续信源的绝对熵还有一项正的无限大量,虽然连续信源的绝对熵还有一项正的无限大量,虽然 log2(ba)小于小于 0,但两项相加还是正值,且一般还是一个无限大量。因,但两项相加还是正值,且一般还是一个无限大量。因为连续信源的可能取值数有无限多,若假定等概率,确知其为连续信源的可能取值数有无限多,若假定等概率,确知其输出值后所得信息量也将为无限大;输出值后所得信息量也将为无限大;q h(X)已不能代表信源的平均不确定度,也不能代表连续信已不能代表信源的平均不确定度,也不能代表连续信源输出的信息量。源输出的信息量。2.3连续信源第26页2024/4/142.3.2 连续信源
21、的熵连续信源的熵(4)连续信源的熵连续信源的熵 连续信源熵的意义连续信源熵的意义 连续信源熵的意义连续信源熵的意义q 这种定义可以与离散信源在形式上统一起来;这种定义可以与离散信源在形式上统一起来;q 在实际问题中常常讨论的是熵之间的差值问题,如信息变在实际问题中常常讨论的是熵之间的差值问题,如信息变差、平均互信息等。在讨论熵差时,两个无限大量互相抵消。差、平均互信息等。在讨论熵差时,两个无限大量互相抵消。所以熵差具有信息的特征;所以熵差具有信息的特征;q 连续信源的熵连续信源的熵 h(X)具有相对性,因此具有相对性,因此 h(X)也称为相对熵。也称为相对熵。2.3连续信源第27页2024/4
22、/142.3.2 连续信源的熵连续信源的熵(5)连续信源的联合熵和条件熵连续信源的联合熵和条件熵两个连续变量的联合熵:两个连续变量的联合熵:两个连续变量的条件熵:两个连续变量的条件熵:2.3连续信源第28页2024/4/142.3.3 几种特殊连续信源的熵几种特殊连续信源的熵(1)均匀分布的连续信源的熵均匀分布的连续信源的熵(2)高斯分布的连续信源的熵高斯分布的连续信源的熵2.3连续信源第29页2024/4/142.3.3 几种特殊连续信源的熵几种特殊连续信源的熵(1)均匀分布的连续信源的熵均匀分布的连续信源的熵一维连续随机变量一维连续随机变量 X 在在 a,b 区间内均匀分布时的熵为区间内均
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 信源 及其 信息量 连续