《改进AOD-Net的端到端图像去雾实验研究_马学条.pdf》由会员分享,可在线阅读,更多相关《改进AOD-Net的端到端图像去雾实验研究_马学条.pdf(6页珍藏版)》请在文库网上搜索。
1、 第 卷 第 期 年 月:改进 的端到端图像去雾实验研究马 学 条(杭州电子科技大学 电子信息学院,杭州)摘要:针对传统数字图像去雾算法容易受到先验知识制约、参数估计困难等问题,提出了一种基于改进 的端到端图像去雾算法。从网络结构和损失函数两部分对 算法进行优化;采用高斯图像金字塔模型设计了包含 个尺度图像的网络结构,提升去雾图像的边缘细节质量;综合视觉感受设计了包含 损失函数和均方差损失函数的混合损失函数,提升去雾图像的亮度和对比度。实验结果表明,改进 算法在图像去雾的主观视觉效果和客观数值结果上,相比较其他经典去雾算法均有着更好表现。关键词:图像去雾;网络结构;损失函数中图分类号:.文献标
2、志码:文章编号:()(,):,:;收稿日期:基金项目:杭州电子科技大学高教改革重点项目()作者简介:马学条(),男,浙江温州人,硕士,高级实验师,研究方向为嵌入式系统设计与应用。:;:引 言常用的图像去雾算法有基于对比度增强、基于物理模型和基于卷积神经网络等。基于对比度增强的去雾算法和基于物理模型的去雾算法,两种传统数字图像去雾算法比较依赖参数的估计,并且无法调用硬件设备进行算法加速,当图像尺寸较大、样本数量较多时,图像去雾处理效率会显著下降。基于变形大气散射模型的快速去雾网络,是一种使用卷积神经网络构建的端到端的图像去雾模型,通过将大气散射模型需要分别计算的大气光值和投射率整合为一个中间未知
3、量,简化了去雾模型,大幅度提升了去雾的处理速度,但是该算法进行去雾处理时容易出现图像色调丢失和图像偏暗等现象。随着深度学习在图像处理领域的快速发展,卷积神经 第 期马学条:改进 的端到端图像去雾实验研究网络凭借高效的特征提取效率,使其在图像去雾领域得到了广泛的应用。本文针对 去雾图的细节信息丢失问题,提出一种基于改进 的端到端图像去雾算法,从网络结构和损失函两个方面对算法进行了改良,拟有效提升了雾图细节的处理能力。图像去雾数学模型.雾天图像大气散射模型 提出的大气散射模型由入射光衰减模型()和 大 气 光 成 像 模 型()两部分组成。()入射光衰减模型()()式中:为入射光在距离为 的地方的
4、光照强度;为场景深度;为单位体积内大气中的微粒对光线散射的能力,即散射系数。()大气光成像模型()()式中,表示大气光值,通常是全局上的常量。大气光值模型也为有雾图像的成像退化模型,其表达式为 个衰减模型的总和,即:()()()式中,为有雾图像素点个数。为方便,定义(),(),(),可得:()()()()()式中:()为有雾图像;()为待恢复的无雾图像;()为投射率。.去雾模型将式()进行变形整理,得到待恢复的无雾图像表达式为()()()()()将式()中的大气光值和投射率整合为 个中间未知量,定义为 值估计模型,其表达式为()()()()()()()式中,为常数偏置,默认值为。根据大气散射模
5、型原理,将估计得到的()代入式(),可得清晰无雾图片生成模型()()()()去雾模型算法由 值估计模型和清晰无雾气图片生成模型 部分组成,算法的去雾框架如图 所示。值估计模型的网络结构由 个卷积层和 个连接层组成,如图 所示。图 去雾框架图 值估计模型的网络结构 值估计模型中,卷积层采用不同大小的卷积核来获取图像特征,每个卷积层都使用了 个卷积核。为了将不同卷积层获取到的特征相结合,网络结构在不同的卷积层间加入了连接层。第 个连接层将第 个和第 个卷积层提取到的特征相结合,第 个连接层将第 个和第 个卷积层提取到的特征相结合,第 个连接层将第 个、第 个、第 个和第 个卷积层提取到的特征相结合
6、。网络模型利用连接层实现了从低层特征到高层特征的平滑转换,又补偿了在卷积过程中的信息损失。改进 去雾算法.多尺度网络结构设计 算法采用单尺度的网络结构进行特征提取,对图像的纹理和细节恢复程度较差。本文采用高斯图像金字塔模型设计了 个尺度图像的网络结构,提升去雾图像的边缘细节质量,使其更加符合人眼视觉感受,改进 多尺度网络结构如图 所示。多尺度网络结构中将原尺度输入图片 进行 次下采样操作,获得 倍下采样图片 和 倍下采样图片,、的尺寸分别为 、。将 输入到小尺度网络结构的 值估计模型得到该尺度的特征图,结合无雾图片生成模型提取该尺度的无雾图。将 进行 倍上采样,恢复至与中尺度网络结构输入图一致
7、的尺寸,将恢复后的 与 进行通道合并后输入到中尺度网络结构的 值估计模型,类似操作得到无雾图。最后,将进行 倍上采样 的与 合并输入到大尺度网络结第 卷图 改进 多尺度网络结构构,获得最终的无雾图。由于小尺度、中尺度的输出图会合并到中尺度、大尺度 值估计模型的输入端,因此这 个尺度网络结构的输入通道数为。.损失函数设计常见的损失函数一般是基于 和 进行设计,它们也被称为 和。损失函数是比较像素差异后将像素相减取绝对值,损失函数是比较像素差异后将对应像素相减取平均值,损失函数和 损失函数的表达式分别为:()()()()()()|()式中:为图像块;为图像块中的像素点;为图像块中的像素数;()表示
8、生成的无雾图的像素值;()表示有雾图的像素值。本文 在 设 计 网 络 损 失 函 数 时 将 结 构 相 似 性(,)的差异值作为损失函数的一部分加入网络训练。由于 值是越大越好,因此取 的值作为损失函数,其损失函数表达式为()()()由于损失函数通常配合卷积网络使用,因此计算损失函数时只需要计算中央像素的损失,其表达式为()()()式中,为图像块的中央像素。本文设计了包含 损失函数和 损失函数的混合损失函数,表达式为 ()()式中:为损失函数的权重系数;为像素的高斯分布系数。实验结果及分析.评价指标()评价指标。是衡量 幅图像相似度的指标,其指标越大代表对比图的 个指标越接近标准清晰图。给
9、定 个图像 和,其结构相似性。(,)()()()()()式中:为 的平均值;为 的平均值;为 的方差;为 的平均值;为 和 的协方差;和 为用来维持稳定的常数。()评价指标。峰值信噪比(,)代表了图像峰值信号的能量与图像噪声的平均能量之比,用来衡量处理图的失真程度,两幅图像间的 越大,则越相似。它是原图像与被处理图像之间的均方误差相对于()的对数值,其表达式为 ()()()评价指标。图像熵 表示图像信源的平均信息量,值越大图像去雾效果越好,图像灰度值的出现概率 和图像熵 表达式分别为:(,)()()式中:(,)为灰度图像在坐标(,)处的灰度值;为每一灰度级出现的概率;为图像尺度。()评价指标。
10、是一个经典的利用自然场景统计进行无参考图像评价的模型,其值越小图片质量越高。算法总体原理是从图像中提取均值减去对比度归一化()系数,将 系数 第 期马学条:改进 的端到端图像去雾实验研究拟合成非对称性广义高斯分布,提取拟合的高斯分布的特征,输入到支持向量机中做回归,从而得到图像质量的评估结果。()图像均值 评价指标。图像均值反映图像的亮度,均值越大反应图像亮度越大,均值越大说明图像的质量越好,其表达式为()式中:为像素值;为图像像素均值;为像素个数。.损失函数权重系数分析本文选用 雾气数据集进行训练,数据集含有 张清晰图和 张合成雾图,训练时将合成雾图按 的比例分为训练集、测试集和验证集。为了
11、确定本文设计的混合损失函数的权重系数,采用了一种范围缩小的方法进行取值确定,训练迭代次数为 。设置 .,间隔为.,使用式()混合损失函数对网络进行训练,计算改进 算法生成图与标准图之间的 和 值,如图 所示为其图像指标变化曲线。由图 可知,权重系数 .,和 的值同时为最大值,因此,可确定最优取值在.之间,继续以.为间隔,使用式()混合损失函数对网络进行训练。改进的 算法 和 曲线如图 所示。图 为.时改进 算法图像指标变化曲线图 为.时改进 算法图像指标变化曲线 由图 可知,综合 和 两种评价指标,的取值为.最适合本文雾气数据集的训练。.时,式()的混合损失函数对改进 网络模型训练时的 走势曲
12、线如图 所示。由图可知,当训练 轮时曲线已处于收敛状态。图 改进 算法损失函数曲线.合成雾图实验结果分析本文所提出的基于改进 的端到端去雾算法与几种经典的去雾算法进行了主观视觉质量和客观评价指标的对比,包括 种传统数字图像去雾算法(和)、种基于卷积神经网络去雾算法()。在合成有雾数据集上进行去雾效果实验,通过主观视觉感受分析各算法的优劣,再结合 和 个评价指标从客观数值上系统性的评价各算法的去雾效果。如图 所示为 种去雾算法在室内办公室、室内厨房、室外马路和室外建筑物 幅合成雾图上的去雾效果。表 所示为 种去雾算法在室内办公室、室内厨房、室外马路和室外建筑物 幅合成雾图上的 和 指标平均值。图
13、 展示了各算法在 合成雾图上的去雾效果。由图()可见,算法处理的图像去雾效果不佳,图像对比度过高;由图()可见,算法处理的图像略微偏暗,图像细节存在一定的失真情况;由图()可见,算法处理的图像整体偏暗,过于简单的损失函数使得图像细节恢复效果不理想;由图()可见,改进的 算法去雾后的图像较为清晰,去 雾 图 的 细 节 和 色 调 均 与 清 晰 无 雾 图 十 分接近。由表 可见,改进的 算法在合成雾图上的 和 平均数值相较、算法均有一定幅度的提升,实验数据表明改进的 算法去雾后的图像与标准清晰图像的相似度更接近,同时也验证了本文所提出的改进方式是有效的。.真实雾图实验结果分析对自然环境中拍摄
14、的真实雾图进行去雾实验,通过主观视觉感受分析各算法的优劣,再结合、个数值从客观上分析各算法的去雾效果。如图 所示为、改进 种算法在室外建筑群、室外景点、室外山水和室内餐厅 幅真实雾图上的去雾效果。表 所示为各去雾算法在室外建筑群、室外景点、室外山水和室内餐厅 幅真实雾图上的、和 指标平均第 卷()合成有雾图像()清晰无雾图像()算法结果()算法结果()算法结果()改进 算法结果图 种去雾算法对合成雾图的去雾效果对比(从左到右依次为室内办公室、室内厨房、室外马路和室外建筑物)表 种去雾算法在 幅合成雾图上的 和 平均值算法 室内室外平均室内室外平均 改进 值。由图 可见,各算法在真实雾图上去雾效
15、果与合成雾图上的效果基本类似。由图()可见,算法去雾效果不佳;由图()可见,算法容易出现图像失真情况;由图()可见,算法处理的图像整体亮度偏暗,图像细节恢复质量不佳;由图()可见,改进的 算法较为有效地去除了图像中的雾气,去雾后的图像也较为清晰。由表 可知,改进的 算法在真实雾图上的 和 平均数值相较、算法均有一定幅度的提升,表明改进的 算法在图像去雾效果、图像细节保留程度和图像对比度等方面有着更好的表现。改进的 算法在真实雾图上,平均数值较 算法虽然有小幅的上升,但从图 展示的去雾效果分析可知,该算法出现了严重的图像失真;改进的 算法在真实雾图上,平均数值相较 和 算法均有一定幅度的下降,实
16、验数据表明改进的 算法在图像去雾效果、图像细节保留程度和图像对比度等方面有着很好的表现,再次验证了本文所提出的改进方式是有效的。第 期马学条:改进 的端到端图像去雾实验研究()真实有雾图像()算法结果()算法结果()算法结果图 种去雾算法对 幅真实雾图的去雾效果对比(从左到右依次为室外建筑群、室外景点、室外山水和室内餐厅)表 去雾算法在 幅真实雾图上的、和 平均值 改进 结 语本文从网络结构和损失函数两部分对 去雾算法进行了改进,提出了改进 去雾算法,该算法在合成雾图上的 和 平均数值分别为.和.,在真实雾图上的、和 平均数值分别为.、.和.,相比其他算法,在图像去雾效果等方面有着更优秀的表现
17、。后续将继续增加数据集的图片数量和更多的雾天场景,进一步提高去雾效果,为应用于雾天环境的智能辅助驾驶奠定基础。参考文献():李永副,崔恒奇,朱浩,等 一种基于改进 的航拍图像去雾算法 自动化学报,():蔡博仑 图像去雾与增强算法的研究 广州:华南理工大学,田 青,袁曈阳,杨丹,等 基于暗通道去雾和深度学习的行人检测方法 激光与光电子学进展,():韩 敏,闫 阔,秦国帅 基于改进 的无人机航拍图像拼接算法 自动化学报,():,:,():蔡 强,刘亚奇,曹健,等 一种基于自适应标记与区域间近邻传播聚类的分水岭图像分割算法 电子学报,():,():安建尧,李金新,孙双平 基于 算子的红外图像边缘检测改进算法 杭州电子科技大学学报(自然科学版),():苏晋鹏,陈恩俊,景嘉帅,等 基于阈值分割的暗原色先验图像去雾方法 计算机工程与应用,():雎青青,李朝锋,桑庆兵 改进多尺度卷积神经网络的单幅图像去雾方法 计算机工程与应用,():,:,:,:,:马学条,周彦均,王永慧,等 基于形态学重建的分水岭图像分割实验教学研究 实验技术与管理,():张 骞,陈紫强,姜弘岳,等 改进 的轻量级图像去雾算法 实验室研究与探索,():丁泳钧,黄 山 一种用于图像去雾的改进生成对抗网络计算机工程,():,:,():