《信息论与编码_第10讲_信息率失真函数1.pptx
《《信息论与编码_第10讲_信息率失真函数1.pptx》由会员分享,可在线阅读,更多相关《《信息论与编码_第10讲_信息率失真函数1.pptx(56页珍藏版)》请在文库网上搜索。
1、4.1.1 引言(1)“消息完全无失真传送消息完全无失真传送”的可实现性的可实现性 信道编码定理:信道编码定理:无论何种信道,只要信息率无论何种信道,只要信息率无论何种信道,只要信息率无论何种信道,只要信息率 R R 小于信道容量小于信道容量小于信道容量小于信道容量 C C,总能找到一种编码,使在信道上能以任意小的错误概率和任意,总能找到一种编码,使在信道上能以任意小的错误概率和任意,总能找到一种编码,使在信道上能以任意小的错误概率和任意,总能找到一种编码,使在信道上能以任意小的错误概率和任意接近于接近于接近于接近于 C C 的传输率来传送信息。反之,若的传输率来传送信息。反之,若的传输率来传
2、送信息。反之,若的传输率来传送信息。反之,若 R R C C,则传输总要失,则传输总要失,则传输总要失,则传输总要失真。真。真。真。完全无失真传送不可实现完全无失真传送不可实现q 实际的信源常常是连续的,信息率无限大,要无失真传送要实际的信源常常是连续的,信息率无限大,要无失真传送要求信息率求信息率 R 为无穷大;为无穷大;q 实际信道带宽是有限的,所以信道容量受限制。要想无失真实际信道带宽是有限的,所以信道容量受限制。要想无失真传输,所需的信息率大大超过信道容量传输,所需的信息率大大超过信道容量 R C。第1页2024/4/144.1基本概念4.1.1 引言(2)实际中允许一定程度的失真实际
3、中允许一定程度的失真 技术发展的需要技术发展的需要q 随着科技的发展,数字系统应用得越来越广泛,需要传送、随着科技的发展,数字系统应用得越来越广泛,需要传送、存储和处理大量的数据。为了提高传输和处理效率,需要对数存储和处理大量的数据。为了提高传输和处理效率,需要对数据压缩,这样会带来一定的信息损失。据压缩,这样会带来一定的信息损失。q 信息时代,信息爆信息时代,信息爆炸,炸,要求解决对海量数据有效的压缩,减要求解决对海量数据有效的压缩,减少数据的少数据的存储容量存储容量(如各种数据库、电子出版物、多媒体娱乐)(如各种数据库、电子出版物、多媒体娱乐)、传输时间传输时间(如数据通信和遥测)、或(如
4、数据通信和遥测)、或占有带宽占有带宽(如多媒体通(如多媒体通信、数字音频广播、高清晰度电视),想方设法压缩给定消息信、数字音频广播、高清晰度电视),想方设法压缩给定消息集合占用的集合占用的空间域空间域、时间域时间域和和频率域频率域资源。资源。第2页2024/4/144.1基本概念4.1.1 引言(2)实际中允许一定程度的失真实际中允许一定程度的失真 技术发展的需要技术发展的需要q如海洋地球物理勘探遥测数据,用如海洋地球物理勘探遥测数据,用 60 路传感器,每路信号路传感器,每路信号 1kHz,16 位位 A/D 量化,每航测量化,每航测 1km 就需记录就需记录 1 盘盘 0.5 英寸的英寸的
5、磁带,一条测量船每年就可勘测磁带,一条测量船每年就可勘测 15000km。第3页2024/4/144.1基本概念4.1.1 引言(2)实际中允许一定程度的失真实际中允许一定程度的失真 实际生活中的需要实际生活中的需要q 实际生活中,人们一般并不要求获得完全无失真的消息,通实际生活中,人们一般并不要求获得完全无失真的消息,通常只要求近似地再现原始消息,即允许一定的失真存在。常只要求近似地再现原始消息,即允许一定的失真存在。q 打电话:打电话:即使语音信号有一些失真,接电话的人也能听懂。即使语音信号有一些失真,接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。人耳接收信号的带宽和分辨率是有限
6、的。q 放电影:放电影:理论上需要无穷多幅静态画面,由于人眼的理论上需要无穷多幅静态画面,由于人眼的“视觉视觉暂留性暂留性”,实际上只要每秒放映,实际上只要每秒放映 24 幅静态画面。幅静态画面。q 有些失真没有必要完全消除。有些失真没有必要完全消除。q 既然允许一定的失真存在,对信息率的要求便可降低。既然允许一定的失真存在,对信息率的要求便可降低。第4页2024/4/144.1基本概念4.1.1 引言(3)信息率失真理论信息率失真理论 信息率失真理论研究的内容信息率失真理论研究的内容:信息率信息率信息率信息率 与与允许失真允许失真允许失真允许失真之间的关系。之间的关系。信息率失真函数信息率失
7、真函数q 香农定义了信息率失真函数香农定义了信息率失真函数 R(D)。q“保真度准则下的信源编码定理保真度准则下的信源编码定理”指出:指出:在允许一定失真度在允许一定失真度在允许一定失真度在允许一定失真度 D D 的情况下,信源输出的信息率可压缩到的情况下,信源输出的信息率可压缩到的情况下,信源输出的信息率可压缩到的情况下,信源输出的信息率可压缩到 R R(D D)。q 信息率失真理论是信息率失真理论是量化量化(模数转换)、(模数转换)、数模转换数模转换、频带压缩频带压缩和和数据压缩数据压缩的理论基础。的理论基础。第5页2024/4/144.1基本概念4.1.1 引言(3)信息率失真理论信息率
8、失真理论 信息率失真函数信息率失真函数极小值极小值问题问题q I(X;Y)是是 P(X)和和 P(Y/X)的二元函数;的二元函数;q 在讨论信道容量时在讨论信道容量时:规定了规定了P(Y/X),I(X;Y)变成了变成了P(X)的函的函数。在离散情况下,因为数。在离散情况下,因为 I(X;Y)对对 p(xi)是上凸函数,所以变是上凸函数,所以变更更 p(xi)所求极值一定是所求极值一定是 I(X;Y)的极大值;在连续情况下,变更的极大值;在连续情况下,变更信源信源 P(X)求出的也是极大值,但求极值时还要一些其它的限制求出的也是极大值,但求极值时还要一些其它的限制条件。条件。第6页2024/4/
9、144.1基本概念4.1.1 引言(3)信息率失真理论信息率失真理论 信息率失真函数信息率失真函数极小值极小值问题问题q 在讨论信息率时在讨论信息率时:可规定可规定 p(xi),变更,变更 p(yj/xi)来求平均互信来求平均互信息的极值,称为息的极值,称为信道容量对偶问题信道容量对偶问题。由于由于I(X;Y)是是 p(yj/xi)的下的下凸函数,所求的极值一定是极小值凸函数,所求的极值一定是极小值。但若。但若 X 和和 Y 相互统计独立(相互统计独立(p(yj/xi)=p(yj)),这个极小值就是),这个极小值就是 0,因为,因为 I(X;Y)是非负的,是非负的,0 必为极小值,这样求极小值
10、就没意义了。必为极小值,这样求极小值就没意义了。q 引入一个失真函数,计算在失真度一定的情况下信息率的极引入一个失真函数,计算在失真度一定的情况下信息率的极小值就变的有意义了。小值就变的有意义了。第7页2024/4/144.1基本概念4.1.2 失真度与平均失真度(1)信息率与失真的关系信息率与失真的关系(2)失真度失真度(3)常用的失真函数常用的失真函数(4)平均失真度平均失真度(5)N 次扩展信道的平均失真度次扩展信道的平均失真度第8页2024/4/144.1基本概念4.1.2 失真度与平均失真度(1)信息率与失真的关系信息率与失真的关系信道中固有的信道中固有的噪声噪声和不可避免的和不可避
11、免的干扰干扰,使信源的消息通过,使信源的消息通过信道传输后造成误差和失真。信道传输后造成误差和失真。误差或误差或失真失真失真失真越大,接收者收到消息后对信源存在的不确定越大,接收者收到消息后对信源存在的不确定性就越大,获得的信息量就越小,信道传输消息的性就越大,获得的信息量就越小,信道传输消息的信息率信息率信息率信息率也越小。也越小。第9页2024/4/144.1基本概念4.1.2 失真度与平均失真度(2)失真度失真度 失真度失真度q 设离散无记忆信源为:设离散无记忆信源为:第10页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(2)失真度失真度 失真度失真度
12、q 对每一对对每一对(xi,yj),指定一个非负函数,指定一个非负函数d(xi,yj)0 i=1,2,n j=1,2,m称称 d(xi,yj)为为单个符号的单个符号的失真度失真度失真度失真度(失真函数)。表示信源发出(失真函数)。表示信源发出一个符号一个符号 xi,在接收端再现,在接收端再现 yj 所引起的误差或失真。所引起的误差或失真。第11页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(2)失真度失真度 失真矩阵失真矩阵q 失真度还可表示成矩阵的形式:失真度还可表示成矩阵的形式:q 称称 D 为失真矩阵。它是为失真矩阵。它是 nm 阶矩阵。阶矩阵。连续信
13、源和连续信道的失真函数连续信源和连续信道的失真函数 在连续信源和连续信道情况下,失真度定义为:在连续信源和连续信道情况下,失真度定义为:d(x,y)0第12页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(3)常用的失真函数常用的失真函数 第一种:第一种:q 当当 i=j 时,时,X 与与 Y 的取值一样,用的取值一样,用 Y 来代表来代表 X 就没有误差,就没有误差,所以定义失真度为所以定义失真度为 0;q 当当 ij 时,用时,用 Y 代表代表 X 就有误差。就有误差。q 这种定义认为对所有不同的这种定义认为对所有不同的 i 和和 j 引起的误差都一样,所
14、以引起的误差都一样,所以定义定义失真度常数失真度常数失真度常数失真度常数 a a。第13页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(3)常用的失真函数常用的失真函数 第一种:第一种:q 特点:特点:对角线上的元素均为对角线上的元素均为 0,对角线以外的其它元素都为常,对角线以外的其它元素都为常数数 a。q 汉明失真函数汉明失真函数:a=1。第14页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(3)常用的失真函数常用的失真函数 第二种(平方误差失真函数):第二种(平方误差失真函数):d(xi,yj)=(yjxi)2q 失
15、真矩阵:失真矩阵:平方误差失真矩阵平方误差失真矩阵。q 若信源符号代表输出信号的幅度值,则较大的幅度失真比较若信源符号代表输出信号的幅度值,则较大的幅度失真比较小的幅度失真引起的错误更为严重小的幅度失真引起的错误更为严重,严重程度用平方表示。严重程度用平方表示。q 失真函数是根据人们的失真函数是根据人们的实际需要实际需要实际需要实际需要和和失真引起的损失失真引起的损失失真引起的损失失真引起的损失、风险风险风险风险、主观感觉上的差别大小主观感觉上的差别大小主观感觉上的差别大小主观感觉上的差别大小等因素等因素人为规定的人为规定的人为规定的人为规定的。第15页2024/4/144.1基本概念4.1.
16、2 失真度与平均失真度失真度与平均失真度(4)平均失真度平均失真度 平均失真度平均失真度q d(xi,yj)只能表示两个特定的具体符号只能表示两个特定的具体符号 xi 和和 yj 之间的失真。之间的失真。q 平均失真度平均失真度平均失真度平均失真度:失真度的数学期望,即:失真度的数学期望,即:第16页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(4)平均失真度平均失真度 平均失真度的意义平均失真度的意义q 是在平均意义上,从总体上对整个系统失真情况的描述。是在平均意义上,从总体上对整个系统失真情况的描述。它是它是信源统计特性信源统计特性信源统计特性信源统计特
17、性 p p(x xi i)、信道统计特性信道统计特性信道统计特性信道统计特性 p p(y yj j/x xi i)和和失真度失真度失真度失真度 d d(x xi i,y yj j)的函数的函数。q 当当 p(xi),p(yj/xi)和和 d(xi,yj)给定后,平均失真度就不是一个随给定后,平均失真度就不是一个随机变量了,而是一个确定的量。机变量了,而是一个确定的量。q 如果如果信源信源和和失真度失真度一定,一定,就只是就只是信道统计特性信道统计特性的函数。的函数。信道传递概率不同,平均失真度随之改变。信道传递概率不同,平均失真度随之改变。第17页2024/4/144.1基本概念4.1.2 失
18、真度与平均失真度失真度与平均失真度(4)平均失真度平均失真度 保真度准则保真度准则q 人们所允许的失真指的都是平均意义上的失真。人们所允许的失真指的都是平均意义上的失真。q 保真度准则保真度准则:规定平均失真度规定平均失真度 不能超过某一限定的不能超过某一限定的值值 D,即,即 ,则,则 D D 就是就是就是就是允许失真允许失真允许失真允许失真的上界的上界的上界的上界。该式称为。该式称为保真度准则。保真度准则。第18页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(5)N 次扩展信源和信道的平均失真度次扩展信源和信道的平均失真度 N 次扩展次扩展q 单符号离散
19、无记忆信源单符号离散无记忆信源 X x1,x2,xn 的的 N 次扩展信源次扩展信源XN=X1X2XN,在信道中的传递作用相当于单符号离散无记忆,在信道中的传递作用相当于单符号离散无记忆信道的信道的 N 次扩展信道,输出也是一个随机变量序列:次扩展信道,输出也是一个随机变量序列:YN=Y1Y2YN q 此时输入共有此时输入共有 nN 个不同的符号:个不同的符号:第19页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(5)N 次扩展信源和信道的平均失真度次扩展信源和信道的平均失真度 N 次扩展次扩展q 信道的输出共有信道的输出共有 mN 个不同的符号:个不同的符
20、号:第20页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(5)N 次扩展信源和信道的平均失真度次扩展信源和信道的平均失真度 N 次扩展次扩展q 定义定义定义定义离散无记忆信道离散无记忆信道 X P(Y/X)Y 的的 N 次扩展信道的输入次扩展信道的输入序列序列 ai 和输出序列和输出序列 bj 之间的失真函数:之间的失真函数:第21页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(5)N 次扩展信源和信道的平均失真度次扩展信源和信道的平均失真度 N 次扩展次扩展q 定义的说明:定义的说明:离散无记忆信道的离散无记忆信道的离散
21、无记忆信道的离散无记忆信道的 N N 次扩展信道输入输出之间次扩展信道输入输出之间次扩展信道输入输出之间次扩展信道输入输出之间的失真,等于输入序列的失真,等于输入序列的失真,等于输入序列的失真,等于输入序列 a ai i 中中中中 N N 个信源符号个信源符号个信源符号个信源符号 x xi i1 1,x xi i2 2,x xiN iN 各自各自各自各自通过信道通过信道通过信道通过信道 X X P P(Y Y/X X)Y Y ,分别输出对应的,分别输出对应的,分别输出对应的,分别输出对应的 N N 个信宿符号个信宿符号个信宿符号个信宿符号 y yj j1 1,y yj j2 2,y yjN j
22、N 后所引起的后所引起的后所引起的后所引起的 N N 个单符号失真个单符号失真个单符号失真个单符号失真 d d(x xik ik,y yjkjk)()(k k=1,2,=1,2,N N)之和。之和。之和。之和。q N 次离散无记忆扩展信源和信道的平均失真度为次离散无记忆扩展信源和信道的平均失真度为 ,则:,则:第22页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(5)N 次扩展信源和信道的平均失真度次扩展信源和信道的平均失真度“N 次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系q 由扩展信源和扩展信道的无记忆性有:由扩展信源和扩展信道的无
23、记忆性有:第23页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(5)N 次扩展信源和信道的平均失真度次扩展信源和信道的平均失真度“N 次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系q (k=1,2,N))是同一信源)是同一信源 X 在在 N 个不同时刻通过同个不同时刻通过同一信道一信道 X P(Y/X)Y 所造成的平均失真度,因此都等于单符号所造成的平均失真度,因此都等于单符号信源信源 X 通过信道通过信道 X P(Y/X)Y 所造成的平均失真度,即:所造成的平均失真度,即:q 结论说明结论说明:离散无记忆离散无记忆离散无记忆离散无记忆
24、N N 次扩展信源通过离散无记忆次扩展信源通过离散无记忆次扩展信源通过离散无记忆次扩展信源通过离散无记忆 N N 次扩次扩次扩次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度展信道的平均失真度是单符号信源通过单符号信道的平均失真度展信道的平均失真度是单符号信源通过单符号信道的平均失真度展信道的平均失真度是单符号信源通过单符号信道的平均失真度的的的的 N N 倍。倍。倍。倍。第24页2024/4/144.1基本概念4.1.2 失真度与平均失真度失真度与平均失真度(5)N 次扩展信源和信道的平均失真度次扩展信源和信道的平均失真度 N 次扩展的保真度准则次扩展的保真度准则:离散无记忆离散
25、无记忆离散无记忆离散无记忆 N N 次扩展信源通过次扩展信源通过次扩展信源通过次扩展信源通过离散无记忆离散无记忆离散无记忆离散无记忆 N N 次扩展信道的保真度准则为:次扩展信道的保真度准则为:次扩展信道的保真度准则为:次扩展信道的保真度准则为:第25页2024/4/144.1基本概念4.1.3 信息率失真函数的定义信息率失真函数的定义(1)试验信道试验信道(2)信息率失真函数信息率失真函数(3)求信息率失真函数的方法求信息率失真函数的方法(4)研究信道编码和率失真函数的意义研究信道编码和率失真函数的意义第26页2024/4/144.1基本概念4.1.3 信息率失真函数的定义信息率失真函数的定
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 10 信息率 失真 函数