改进暗通道先验和策略性融合的图像去雾算法.pdf
《改进暗通道先验和策略性融合的图像去雾算法.pdf》由会员分享,可在线阅读,更多相关《改进暗通道先验和策略性融合的图像去雾算法.pdf(10页珍藏版)》请在文库网上搜索。
1、第 49卷 第 10期2023年 10月Computer Engineering 计算机工程改进暗通道先验和策略性融合的图像去雾算法王效灵,胡志杰,徐帅帅,黄浩如(浙江工商大学 信息与电子工程学院,杭州 310018)摘要:针对图像去雾领域的暗通道先验算法存在光晕效应、颜色失真及对天空区域处理不佳等问题,提出一种改进暗通道先验和策略性融合的图像去雾算法。依据暗通道先验原理得到多尺寸最小值滤波窗口下的透射率和对应大气光值,设计基于结构相似性指标的调节和侧重因子用于多窗口透射率拟合。利用非线性规划模型和偏度理论计算全局大气光值,引入并调整置信度对天空区域的透射率进行快速补偿,结合大气散射模型恢复去
2、雾图。将去雾图转换成 HSV 模型并对亮度 V空间进行增强,同时对增强前后的图像进行策略性融合。实验结果表明,相比于现有的暗通道先验去雾算法,该算法的可见边增率、信息熵和平均梯度分别提升了 79%131%、3%9%、39%81%,具有较好的去雾效果,避免了光晕效应和颜色失真现象,适用于处理包含不同尺寸天空区域的雾图。关键词:图像去雾;暗通道先验;结构相似性;非线性规划;置信度;策略性融合开放科学(资源服务)标志码(OSID):中文引用格式:王效灵,胡志杰,徐帅帅,等.改进暗通道先验和策略性融合的图像去雾算法 J.计算机工程,2023,49(10):212-221.英文引用格式:WANG X L
3、,HU Z J,XU S S,et al.Image dehazing algorithm using improved dark channel prior and strategic fusion J.Computer Engineering,2023,49(10):212-221.Image Dehazing Algorithm Using Improved Dark Channel Prior and Strategic FusionWANG Xiaoling,HU Zhijie,XU Shuaishuai,HUANG Haoru(School of Information and E
4、lectronic Engineering,Zhejiang Gongshang University,Hangzhou 310018,China)【Abstract】To address the problems of halo effect,color distortion,and poor treatment of sky regions in the Dark Channel Prior(DCP)algorithm for image dehazing,a novel image dehazing algorithm using an improved DCP and strategi
5、c fusion is proposed.Based on the DCP principle,the transmission rate and corresponding atmospheric light value are obtained using a multi-scale minimum value filtering window.A design utilizing Structural Similarity(SSIM)index is employed to adjust and emphasize factors for multi-transmission rate
6、fitting.A nonlinear optimization model and the skewness theory are utilized to calculate the global atmospheric light value,and confidence is introduced and adjusted to rapidly compensate for the transmission rate in sky regions.Through combination with an atmospheric scattering model,the dehazed im
7、age is restored.The dehazed image is then transformed into the HSV color space to enhance the brightness in the V channel,followed by a strategic enhancement fusion.Experimental results show that compared with the existing DCP dehazing algorithms,the proposed algorithm achieves significant improveme
8、nts in visible edge increment rate,information entropy,and average gradient by 79%-131%,3%-9%,and 39%-81%,respectively.This demonstrates its superior dehazing performance by avoiding halo effects and color distortion phenomena,and it is suitable for handling hazy images containing sky regions of dif
9、ferent sizes.【Key words】image dehazing;Dark Channel Prior(DCP);Structural Similarity(SSIM);Non-Linear Programming(NLP);confidence;strategic fusionDOI:10.19678/j.issn.1000-3428.00659080概述 雾霾是常见的大气污染现象,是由空气中的灰尘硫酸还有硝酸等颗粒物组成的溶胶系统造成的视觉障碍,导致雾霾天成像结果低质,不利于计算机视觉的后续研究,因此图像去雾具有重要的研究意义。基金项目:浙江省重点研发科技计划项目(2021C0
10、3166)。作者简介:王效灵(1967),男,教授级高级工程师、博士,主研方向为图像处理、信号处理、智能监控;胡志杰、徐帅帅、黄浩如,硕士研究生。收稿日期:2022-10-04 修回日期:2022-11-23 Email:图形图像处理文章编号:1000-3428(2023)10-0212-10 文献标志码:A 中图分类号:TP391目前,图像去雾领域大致有基于图像增强、基于深度学习和基于图像复原三大研究方向。基于图像增强的方法有直方图均衡1、基于 Retinex 理论2-4等,虽然雾图的对比度等得到了增强,也改善了视觉效果,但无法真实地实现图像去雾。基于深度学习的方法是通过训练网络模型实现端到
11、端去雾,缺点是训练耗时,且目前合成的雾数据集多而自然雾数据集少。ZHANG 等5提出 DCPD 模型,结合语义分割的生成器和判别器实现去雾。CHEN 等6提出一种基于生成对抗网络的无监督学习训练去雾模型GCANet。REN 等7提出一种多尺度特征的 CNN 模型来训练雾图的透射率进行去雾。ZHAO 等8提出两阶段弱监督 RefineDNet模型,一阶段采用暗通道恢复可见性,二阶段使用未配对的雾状清晰图像进行对抗性学习提高复原真实性。YANG 等9提出可实现自增强的去雾网络框架,但对过亮区域的透射率估计偏高,引起深度网络对这些区域的深度预测值偏低。LI等10提出一种沙漏式结构且基于残差网络的 H
12、ourglass-DehazeNet,在多尺度上进行灵活的信息交互和聚合。基于图像复原的方法是使用特定物理成像模型实现雾气的退化,是目前流行的真实去雾方法。LIU 等11根据亮度和饱和度呈正相关的规律估计透射率,但对于景深处的去雾效果差。HE等12提出经典的暗通道先验(Dark Channel Prior,DCP)去雾算法,利用统计先验知识并结合大气散射模型高效复原无雾图,但出现了一定的光晕伪影、色彩偏移等问题,且在天空区域中会失效。RAIKWAR等13将透射率估计问题映射为模糊图像与无雾图像间最小值通道差的估计问题。JU 等14在大气散射模型中增加光吸收系数来提升恢复图像的可见度,但其拉伸策
13、略的全局性较差。何涛等15利用可自动调整的雾气保留参数和容差机制改进了暗通道先验算法,改善对天空区域的处理,但容差系数的固定选择无法适用于不同场景的雾图。LI等16和王硕等17运用暗通道置信度的理论,自适应修正了 DCP 不适用区域的透射率,但处理后图像的景深处去雾效果差。王国栋等18利用散射介质成像模型,基于低秩分解并结合像素置乱方法进行去雾,但对雾气分布不均匀的图像处理不佳。吴向平等19利用深度学习模型得到雾图的物理景深估计模型,基于景深信息进行自适应图像 Retinex操作实现去雾。本文提出基于结构相似性(Structural Similarity,SSIM)指标和侧重因子的稳定透射率拟
14、合算法和结合非线性规划(Non-Linear Programming,NLP)模型和偏度知识的新大气光值确定方法,结合并调整置信度解决 DCP 在天空区域的失效问题,同时对图像进行策略性的增强融合。1 算法基础1.1大气散射模型计算机视觉和图形图像领域一般利用大气散射模型来描述雾天图像降质的过程,可表示如下:I(x)=J(x)t(x)+A1-t(x)(1)其中:x表示图像像素;I(x)表示雾图;J(x)表示无雾图;A表示全局大气光值;t(x)表示透射率;A1-t(x)表示大气光幕20。在均匀介质中,t(x)可表示如下:t(x)=exp-d(x)(2)其中:表示介质散射系数;d(x)表示成像景深
15、。因此,根据大气散射模型,输入雾图、大气光值和透射率就能反解方程得到去雾图。1.2暗通道先验原理除室外无雾图像的非天空区域外,图像的其他部分至少有一个颜色通道强度趋近于 0,对于雾图I(x),暗通道可表示如下:Jdark(x)=mini (x)minc(RGB)Ic(i)0(3)其中:Jdark(x)表示暗通道;(x)表示最小值滤波窗口;c表示 R、G、B颜色通道。结合式(1)和式(3),对于给定的全局大气光值A,计算出雾图的透射率t(x):t(x)=1-Jdark(x)A(4)其中:表示雾气保留系数,一般取为 0.95,维持图像的少量雾气以保证真实性。根据大气散射模型,得出最终的去雾图像J(
16、x)可表示如下:J(x)=I(x)-Amaxt(x)t+A(5)其中:t设置为 0.1,避免分母为 0。1.3结构相似性结构相似性21从亮度、对比度、结构化 3 个层面,对A、B进行相似性的客观评估,可表示如下:SSIM(AB)=Lig(AB)Con(AB)Str(AB)(6)其中:Lig(AB)表示亮度相似度;Con(AB)表示对比度相似度;Str(AB)表示结构化相似度。A、B两图SSIM 的值域为0,1,SSIM(AB)越大,说明图像A、B整体越相似。2改进暗通道先验和策略性融合的图像去雾算法 改进暗通道先验和策略性融合的图像去雾算法流程如图 1 所示。首先,获取多窗口下 DCP 算法的
17、透 射 率ti(x)和 相 应 大 气 光 值Ai;接 着,使 用 基 于SSIM 的调节因子i和侧重因子i拟合透射率;然后,假设一个非线性规划模型,通过系数约束和偏度约束,从Ai组中计算A,继续引入并调整置信度补偿天空区域的透射率,并快速引导滤波细化;最后,反解大气散射模型,转换为 HSV 模型增强亮度 V,结合置信度特点进行增强前后图像的策略性融合,得到最终的去雾图。第 49卷 第 10期王效灵,胡志杰,徐帅帅,等:改进暗通道先验和策略性融合的图像去雾算法目前,图像去雾领域大致有基于图像增强、基于深度学习和基于图像复原三大研究方向。基于图像增强的方法有直方图均衡1、基于 Retinex 理
18、论2-4等,虽然雾图的对比度等得到了增强,也改善了视觉效果,但无法真实地实现图像去雾。基于深度学习的方法是通过训练网络模型实现端到端去雾,缺点是训练耗时,且目前合成的雾数据集多而自然雾数据集少。ZHANG 等5提出 DCPD 模型,结合语义分割的生成器和判别器实现去雾。CHEN 等6提出一种基于生成对抗网络的无监督学习训练去雾模型GCANet。REN 等7提出一种多尺度特征的 CNN 模型来训练雾图的透射率进行去雾。ZHAO 等8提出两阶段弱监督 RefineDNet模型,一阶段采用暗通道恢复可见性,二阶段使用未配对的雾状清晰图像进行对抗性学习提高复原真实性。YANG 等9提出可实现自增强的去
19、雾网络框架,但对过亮区域的透射率估计偏高,引起深度网络对这些区域的深度预测值偏低。LI等10提出一种沙漏式结构且基于残差网络的 Hourglass-DehazeNet,在多尺度上进行灵活的信息交互和聚合。基于图像复原的方法是使用特定物理成像模型实现雾气的退化,是目前流行的真实去雾方法。LIU 等11根据亮度和饱和度呈正相关的规律估计透射率,但对于景深处的去雾效果差。HE等12提出经典的暗通道先验(Dark Channel Prior,DCP)去雾算法,利用统计先验知识并结合大气散射模型高效复原无雾图,但出现了一定的光晕伪影、色彩偏移等问题,且在天空区域中会失效。RAIKWAR等13将透射率估计
20、问题映射为模糊图像与无雾图像间最小值通道差的估计问题。JU 等14在大气散射模型中增加光吸收系数来提升恢复图像的可见度,但其拉伸策略的全局性较差。何涛等15利用可自动调整的雾气保留参数和容差机制改进了暗通道先验算法,改善对天空区域的处理,但容差系数的固定选择无法适用于不同场景的雾图。LI等16和王硕等17运用暗通道置信度的理论,自适应修正了 DCP 不适用区域的透射率,但处理后图像的景深处去雾效果差。王国栋等18利用散射介质成像模型,基于低秩分解并结合像素置乱方法进行去雾,但对雾气分布不均匀的图像处理不佳。吴向平等19利用深度学习模型得到雾图的物理景深估计模型,基于景深信息进行自适应图像 Re
21、tinex操作实现去雾。本文提出基于结构相似性(Structural Similarity,SSIM)指标和侧重因子的稳定透射率拟合算法和结合非线性规划(Non-Linear Programming,NLP)模型和偏度知识的新大气光值确定方法,结合并调整置信度解决 DCP 在天空区域的失效问题,同时对图像进行策略性的增强融合。1 算法基础1.1大气散射模型计算机视觉和图形图像领域一般利用大气散射模型来描述雾天图像降质的过程,可表示如下:I(x)=J(x)t(x)+A1-t(x)(1)其中:x表示图像像素;I(x)表示雾图;J(x)表示无雾图;A表示全局大气光值;t(x)表示透射率;A1-t(x
22、)表示大气光幕20。在均匀介质中,t(x)可表示如下:t(x)=exp-d(x)(2)其中:表示介质散射系数;d(x)表示成像景深。因此,根据大气散射模型,输入雾图、大气光值和透射率就能反解方程得到去雾图。1.2暗通道先验原理除室外无雾图像的非天空区域外,图像的其他部分至少有一个颜色通道强度趋近于 0,对于雾图I(x),暗通道可表示如下:Jdark(x)=mini (x)minc(RGB)Ic(i)0(3)其中:Jdark(x)表示暗通道;(x)表示最小值滤波窗口;c表示 R、G、B颜色通道。结合式(1)和式(3),对于给定的全局大气光值A,计算出雾图的透射率t(x):t(x)=1-Jdark
23、(x)A(4)其中:表示雾气保留系数,一般取为 0.95,维持图像的少量雾气以保证真实性。根据大气散射模型,得出最终的去雾图像J(x)可表示如下:J(x)=I(x)-Amaxt(x)t+A(5)其中:t设置为 0.1,避免分母为 0。1.3结构相似性结构相似性21从亮度、对比度、结构化 3 个层面,对A、B进行相似性的客观评估,可表示如下:SSIM(AB)=Lig(AB)Con(AB)Str(AB)(6)其中:Lig(AB)表示亮度相似度;Con(AB)表示对比度相似度;Str(AB)表示结构化相似度。A、B两图SSIM 的值域为0,1,SSIM(AB)越大,说明图像A、B整体越相似。2改进暗
24、通道先验和策略性融合的图像去雾算法 改进暗通道先验和策略性融合的图像去雾算法流程如图 1 所示。首先,获取多窗口下 DCP 算法的透 射 率ti(x)和 相 应 大 气 光 值Ai;接 着,使 用 基 于SSIM 的调节因子i和侧重因子i拟合透射率;然后,假设一个非线性规划模型,通过系数约束和偏度约束,从Ai组中计算A,继续引入并调整置信度补偿天空区域的透射率,并快速引导滤波细化;最后,反解大气散射模型,转换为 HSV 模型增强亮度 V,结合置信度特点进行增强前后图像的策略性融合,得到最终的去雾图。2132023年 10月 15日Computer Engineering 计算机工程2.1多窗口
25、透射率拟合暗通道先验算法去雾效果如图 2 所示(彩色效果见 计算机工程 官网 HTML 版)。选择 1515 像素的最小值滤波窗口对最小值通道进行处理,具有较好的去雾能力且复原度高,但透射率精细度较低、信息丢失导致去雾图存在光晕现象,如图 2(c)所示。通过逐渐缩小最小值滤波窗口的尺寸,虽然透射率越来越高,但复原效果越来越差,图像失真、过饱和严重,如图 2(i)所示。根据不同尺寸的最小值滤波窗口,基于暗通道先验算法可得到不同效果倾向的复原图。因此,本文提出一种基于 SSIM 指标的调节和侧重因子并用于拟合多窗口透射率的算法。首先,选取 33、66、99、1212、1515 像素的最小值滤波窗口
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 通道 先验 策略性 融合 图像 算法