《信息论基础》课件第4章 连续信源的相对熵.ppt
《《信息论基础》课件第4章 连续信源的相对熵.ppt》由会员分享,可在线阅读,更多相关《《信息论基础》课件第4章 连续信源的相对熵.ppt(63页珍藏版)》请在文库网上搜索。
1、4.1 连续信源你的相对熵 连续信源:用连续随机变量描述输出消息的信源。数学模型:一 相对熵的定义Hc(X):信息熵分层量化连续离散 利用离散信源熵的概念来定义连续信源熵,如图表示a,b区间的连续随机变量。首先把X的取值区间a,b分割为n个小区间,小区间宽度为:=(b-a)/n。根据概率密度函数曲线的区间面积关系,X取值为xi的概率为:Pi=p(xi)得到离散信源Xn的信源空间为:Xn,PXn:x1x2xnP(Xn):p(x1)p(x2)p(xn)相对熵:h(X)确定值部分无限大常数项 称为连续信源的熵。二 几种连续信源的相对熵1.均匀分布:相对熵无非负性,可为负值2.高斯分布:与方差有关,与
2、均值无关当均值m=0,即方差表示平均功率时:相对熵只与平均功率有关3.指数分布:指数分布的相对熵只取决于信源的均值a小结小结151.连续信源的相对熵的定义:2.几种连续信源的相对熵:均匀分布、高斯分布、指数分布4.2 几种单维连续信源的相对熵1.均匀分布:相对熵无非负性,可为负值2.高斯分布:与方差有关,与均值无关当均值m=0,即方差表示平均功率时:相对熵只与平均功率有关3.指数分布:指数分布的相对熵只取决于信源的均值a4.3 最大相对熵定理极值性、上凸性相对熵具有极大值 一维连续信源X的相对熵h(X)的最大值,是概率密度函数p(x)的函数h(X)的条件极大值。考虑:则:1.峰值功率受限(取值
3、区间受限):均匀分布相对熵最大2.平均功率受限:高斯分布相对熵最大3.均值受限(取值非负):指数分布相对熵最大1.对于峰值功率受限的连续信源,均匀分布的相对熵对于峰值功率受限的连续信源,均匀分布的相对熵最大;最大;2.对于输出平均功率受限的连续信源,在假设状态相对于输出平均功率受限的连续信源,在假设状态相互独立时,当其概率密度函数为高斯分布时,具有最互独立时,当其概率密度函数为高斯分布时,具有最大熵;大熵;3.对于均值受限的连续信源,指数分布输出相对熵最对于均值受限的连续信源,指数分布输出相对熵最大。大。结论:(最大熵定理)熵功率熵功率平均功率受限(m=0):熵功率4.4 连续熵的变换信 源信
4、息处理网络信 道XY解:4.5 连续信道连续信道 1 连续信道的分类:信道的分类:按噪声统计特性分类按噪声统计特性分类高斯信道:若信道的噪声是高斯噪声,即噪声是平稳随机过程,其瞬时值的概率密度函数服从正态分布(高斯分布),则此信道称为高斯信道。白噪声信道:若信道的噪声是白噪声,即噪声是平稳随机过程,其功率谱密度均匀分布于整个频域,则此信道称为白噪声信道。高斯白噪声信道:若信道的噪声是高斯分布的白噪声,则此信道称为高斯白噪声信道。按噪声对信号的作用功能分类按噪声对信号的作用功能分类乘性信道:信道中噪声对信号的作用表现为与信号相乘的关系。加性信道:信道中噪声对信号的作用表现为与信号相加的关系。根据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论基础 信息论基础课件第4章 连续信源的相对熵 信息论 基础 课件 连续 信源 相对