改进生成式对抗网络的遥感影像超分辨率重建.pdf

1、经纬天地Survey World2023年第4期No.420230引言遥感影像快速发展，在检测、分类、估产等方面应用广泛。超分辨率重建（SR）是通过算法来提高图像分辨率，将低分辨率影像恢复高分辨率1，近年来逐渐受到一些学者的关注。当前 SR 方法主要有基于重构、插值和机器学习。基于重构方法是通过插值核对采样点灰度进行插值，以获得接近高分辨率的放大效果。基于插值方法通过建立低分辨率与高分辨率图像转换模型，求解模型参数得到高分辨率图像。这两类方法在遥感影像应用中因成像过程中退化因素复杂，模型难以全面考虑。近年来数据驱动下深度学习的方法为遥感数赵耀1，葛小三2，金满库2（1.山西省测绘地理信息院，山

2、西 太原 030001；2.河南理工大学测绘与国土信息工程学院，河南 焦作 454003）改进生成式对抗网络的遥感影像超分辨率重建摘要：针对 SRGAN（Super-Resolution Generative Adversarial Network）在超分辨率重建过程中存在生成影像伪影、重建效果不佳问题，提出改进SRGAN网络遥感影像超分辨率重建方法。通过舍弃生成模型 BN（Batch Normalization）层，降低训练复杂度，同时在生成模型中引入密集残差块增加网络训练宽度，实现网络更深层次训练。采用l1损失函数代替均方差（MSE）损失函数，降低噪声影响。实验结果表明：本文方法较SRGA

3、N具有更高的PSNR（峰值信噪比）、SSIM（结构相似性），获得更好视觉效果。关键词：超分辨率；对抗网络；密集卷积网络；深度学习；损失函数中图分类号：TP79文献标识码：A文章编号：2095-7319（2023）04-0082-05Improved Generative Adversarial Networks for Super-Resolutionreconstruction of remote sensing imagesZHAO Yao1,GE Xiaosan2,JIN Manku2（1.Shanxi Institute of Surveying and Mapping Geograp

4、hic Information,Taiyuan 030001,China;2.College of Surveying Mapping and Land Information Engineering,Henan Polytechnic University,Jiaozuo 454003,China)Abstract:Aiming at the problems of generating image artifacts and poor reconstruction effect of SRGAN(Super-Resolution GenerativeAdversarial Network)

5、in the process of super-resolution reconstruction,we propose to improve the super-resolution reconstructionmethod of remote sensing images with SRGAN network.By discarding the BN(Batch Normalization)layer of the generative model,thetraining complexity is reduced,and at the same time,a dense residual

6、 block is introduced into the generative model to increase thetraining width of the network,so as to realize deeper training of the network.The l1loss function is used instead of MSE loss function toreduce the effect of noise.The experimental results show that this method has higher PSNR(Peak Signal

7、-to-Noise Ratio)and SSIM(Structural Similarity)than SRGAN,and obtains better visual effect.Key words:Super-Resolution;Generative Adversarial Network;densely connected convolutional network;deep learning;loss function收稿日期:20230531基金项目:河南省高等教育教学改革研究与实践项目（学位与研究生教育）（2021SJGLX100Y）；河南省自然科学基金项目（2223004204

8、50）作者简介:赵耀（1986），男，山西太原人，本科，工程师，主要从事地图制图和测绘工程工作。E-mail：legend_828月1.1引进密集残差块的生成模型生成网络部分由多个残差块和两个亚像素卷积层组成，每个残差块中包含 2 个 33 的卷积层，卷积层后加上批量归一化层并且令 ReLU 作为激活函数。由于改进前生成模型在高频细节上表现并不理想，本文将基本残差块替换为密集残差块，可使网络能够进行更深层次的训练，得到更加理想的训练效果。同时，通过去除批量归一化层以减少高频细节的平滑。因此，去除基本残差块中的 BN 层，以达到在降低 GPU 内存占有率的同时生成更加真实高清的真实细节的效果，使

9、其在训练样本有限的情况下仍具有较好的重建性能。模型中密集残差块结构如图 2 所示。不同于传统框架中 L 层连接层仅有 L 个连接，密集残差网络增加连接数至 L（L+1）/2 层，使特征可以传到后面所有连接层中，让网络容量变得更高。引入密集残差块能够确保网络层之间流动性最大，这种密集连接模式需要的参数比传统卷积网络少，不需要重新学习冗余的特征映射。改进后的生成模型如图 3 所示。1.2判别模型采用类似 SRGAN 的判别模型，分为 3 部分，具体结构如图 4 所示。第 1 部分由 1 个卷积块和 1个 Leaky ReLU 激活函数组成，第 2 部分为 1 个基本模块，每 1 个基本模块由 1

10、个卷积块、1 个 LeakyReLU 激活函数和 1 个 BN 层组成。第 1 部分由 1个维度为 1024 的全连接层后接 1 个 Leaky ReLU激活函数组成，以获得分类概率。模型选择 LeakyReLU 作为激活函数，在负值数保留效果方面比据处理提供了新途径。2014 年，Dong 等将卷积神经网络（Convolutional Neural Network，CNN）应用于超分辨率重建2，建立三层卷积层网络，直接学习低分辨率与高分辨率图像之间的端对端的映射，相较于传统方法，在视觉效果和重建质量上都有了较大提高。由于网络层次太浅，在处理高分辨率影像时会丢失其纹理细节信息。针对上述不足，K

11、IM 等提出了加入深层网络的深度残差网络，并将网络深度增加至 52 层改进，使用网络权值共享块，使网络得到一定提升3。以上相较于传统模型虽然都有一定提升，但还无法达到令人满意的效果。2016 年 Ledig 等将对抗网络引入超分辨率重建技术，提出了超分辨率生成对抗网（SRGAN），解决了图像高频细节缺失问题4。本文针对 SRGAN伪影问题，引入密集残差块增大网络容量处理细节，去除批量归一化（BN）层，减少细节过度平滑，使用 l1损失函数减少损失惩罚，改善伪影。实验结果表明：本文模型更适合遥感影像重建。1改进生成对抗网络模型超分辨率重建生成式对抗网络模型基本原理是将 1 张低分辨率图像送入生成网

12、络生成伪高分辨率图像，再将伪高分辨率图像送入鉴别网络，鉴别网络判断伪高分辨率图像的真伪并与真实的高分辨率图像进行对比，得到伪高分辨率图像与真实高分辨率图像的损失（Gloss）和伪高分辨率图像与真实高分辨率图像的真实损失（Dloss），再将 Gloss和 Dloss 分别送入生成网络和鉴别网络。以此反复迭代训练生成网络和鉴别网络，直至达到纳什均衡，进而获得生成高分辨率图像。模型整体结构如图 1 所示。图 1超分辨率重建生成式对抗网络模型结构图 2密集残差块结构赵耀，葛小三，金满库：改进生成式对抗网络的遥感影像超分辨率重建83经纬天地Survey World2023年第4期No.42023ReLU

13、 激活函数要好，同时网络在激活函数后添加BN 层来增强泛化能力，以避免梯度消失。图 4判别模型结构1.3损失函数构建本文使用正则化损失和感知损失相结合的混合损失函数，平滑生成图像。混合损失函数如式（1）所示：lSR=lx+2 10 9ltv+10 3lSRGen（1）式中：lx为内容损失；ltv为正则化损失函数；lx和lgen合称为感知损失函数；lSRGen为生成对抗损失。1）内容损失SRGAN 中lx为lmse，其中 W、H 为网络映射尺寸；r 为给定的参数权重，如式（2）所示：l1损失函数也被称为最小绝对值偏差，属于最原始的损失函数，它是参考图像(IH)x，y与重建影像GG的绝对值的总和的

14、最小化。我们将lmse损失函数改为l1损失函数，如式（3）所示：lmse损失函数便于梯度下降，与l1损失函数相比可以获得较高的 PSNR，但是受异常数据值的影响较大，往往会缺失生成的高分辨率图像的高频细节，导致重建结果中存在伪影的问题。我们选择传统的l1损失函数，以达到更好处理数据中的异常值的效果，使较大的误差不会因被平方过于放大而导致过大的惩罚。2）生成对抗损失生成对抗损失函数如式（4）所示，DD(GG(ILR)为重建图像GG(ILR)自然 HR 图像的估计概率，因此我们将 logDD(GG(ILR)最小化，也就是最大化判别器给予生成器所生成的图像为真的概率。lSRGen=n=1N logD

15、D(GG(ILR)（4）3）正则化损失函数在图像重建时，采用l1损失函数可以降低外部噪声的影响，但图像自带的噪声会对重建结果有很大影响。为了保证图片光滑完整性，需要将一个正则项添加到这个最优化模型中来，其中TVloss是通常会使用的一个正则项。本文使用的正则化损失计算式如式（5）所示：lSRTV=1r2WHx=1rWy=1rHGG(ILR)x，y（5）2实验结果及分析为了验证本文算法的有效性和适用性，本实验的训练集采用 DIV2K 数据集。训练时生成模型和（2）lx=lmse=1r2WHx=1rWy=1rH(IHRx,y GG(IHR)x,y)2lx=l1=1r2WHx=1rWy=1rH|(I

16、H)x,y(GG(IL)x,y)（3）图 3改进后的生成模型848月判别模型初始权重设置使用均值为 0，方差为 0.01的随机数值。最小批处理设置为 16。初始学习率设置为 210-4，初始衰减率设置为 0.5，学习率下降周期为 27 个 epoch，当学习率低于 210-5时停止训练。无人机遥感数据测试集具有复杂度高、分辨率高的特点，更加符合遥感影像现代发展特点。为表现本文算法的优越性，本实验采用 buildings 数据集和 airplane 数据集以及一个无人机遥感数据集作为测试集。在这 3 个数据集上横向比较了 Bicubic 算法（双三次插值法）、SRCNN 算法和 SRGAN 算法

17、，并比较实验结果。实验环境采用 GPU 为 NVIDIAGeForce GTX1650，内存为 16 GB，Win10 操作系统的电脑。2.1评价标准本实验分为主观和客观两方面，在不同遥感数据集中对不同模型进行横向对比，表现网络的超分辨率重建算法的性能。首先，通过对比峰值信噪比（Peak Signal to Noise Ratio，PSNR）和 结构相似性（Structural Similarity，SSIM）的值来表现网络的超分辨率能力5。PSNR 计算公式如式（6）、式（7）所示，两个 mn 单色图像 I 和 K 的均方差定义为：MSE=1mni=0m 1j=1n 1 logDD(GG(I

18、LR)2（6）PSNR=10 logMAX2iMSE=20 logMAXIMSESSIM 是一种基于亮度、对比度、结构相似度信息对比重建后的超分辨率图像与真实高分辨率图像的相似程度的方法。SSIM 的值与影像主观感知关联性较强。计算公式如式（8）所示：SSIM(X，Y)=l(x，y)c(x，y)s(x，y)（8）式中：l(x，y)为亮度比较；c(x，y)为对比度比较；s(x，y)为结构比较。2.2实验结果与分析2.2.1客观评价结果及分析客观评价结果及分析由表 1 可以看出：在同样的样本数据测评下，本文模型在各个数据集的 4 倍重建效果相比较于 SRGAN 算法和 Bicubic 算法均为 最

19、 佳，相 较 于 SRCNN 算 法 部 分 数 据 集 中 的PSNR 值较低。本文方法在 3 个数据集上相对于SRGAN 算法，PSNR 和 SSIM 的值平均提高 0.24 dB与 0.011 2。在自制遥感数据集中表现最佳，相比于 SRGAN 算法，PSNR 和 SSIM 的值分别提高了0.45 dB 和 0.018 7 并达到所有模型最佳。表 1在 3 种数据集上各种算法的 PSNR 值与 SSIM 值对比2.2.2主观评价结果及分析为表现本文模型的优越性和普适性，分别在无人机遥感数据集和 airplane 数据集上各取 1 张影像进行超分辨率重建。对影像部分细节进行放大，直观地对超

20、分辨率重建效果进行对比。本文使用MATLAB 上的双三次核函数进行 4 倍下采样得到低分辨率影像（LR）进行测试。数据集buildingsairplane无人机遥感PSNRSSIMPSNRSSIMPSNRSSIMBicubic算法22.550.763 224.870.833 222.940.805 9SRCNN算法24.310.788 625.970.857 924.230.833 7SRGAN算法23.110.779 325.540.847 723.880.826 5Ours23.220.789 725.700.856 324.330.845 2（7）图 5不同方法在无人机遥感图像上的重建结

21、果(a)Bicubic 模型(b)SRCNN 模型(c)SRGAN 模型(d)本文模型(e)原图赵耀，葛小三，金满库：改进生成式对抗网络的遥感影像超分辨率重建85经纬天地Survey World2023年第4期No.42023图 6不同方法在 airplane 影像上的重建结果(a)Bicubic 模型(b)SRCNN 模型(c)SRGAN 模型(d)本文模型(e)原图各算法在放大倍数为 4 时对遥感影像进行重建，能够直观地评估各算法的重建效果，如图 5、图6 所示。图 5 将重建后的无人机遥感影像部分区域放大（方框已标出）对比细节。可以看出：采用Bicubic 模型和采用 SRCNN 模型在

22、复杂且细节多的遥感影像上重建效果较差，且影像模糊，而 SRGAN模型较为清晰。相较于本文模型，本模型重建后的影像分辨率更高，且微小细节更为明显、视觉效果更好。为了进一步展示本模型的优越性，图 6 将airplane 影像部分区域放大（红方框已标出）再次对比细节。可以清楚看出：虽然在 buildings 数据集和airplane 数据集中，本文模型的 PSNR 值均低于SRCNN 模型，但本文视觉效果要好于 SRCNN 模型。Bicubic 算法和 SRCNN 算法中右机翼中线条比较模糊，SRGAN 算法中线条比较清晰但存在过拟合并伴有伪影产生。在 airplane 数据集中尽管各项数值并未达到

23、最优，但在图 6 中可以看出：本文模型极大地改善了伪影问题，轮廓细节恢复得更接近原始影像，相较于其他算法在细节处理方面本文算法达到最优。3结语针对 SRGAN 超分辨率重建影像存在伪影、重建效果不理想等问题，本文在 SRGAN 算法的基础上引入密集残差块，加深了网络结构的训练，使重建影像的分辨率更高，实验结果表明：网络达到了更深层次的训练，改善了重建影像存在伪影问题，提高图像重建效果并缓解了过拟合等现象。在 3个数据集上相对于 SRGAN 算法，PSNR 和 SSIM 的值平均提高了 0.21 dB 与 0.011 2。但随着网络层次的加深，训练量也随之增大。下一步将继续研究使用更加紧凑的算法

24、优化结构，在保证超分辨率重建效果的同时，降低网络计算量。参考文献：1Dou X,Li C,et al.Super-resolution for hyperspectral remote sensing images base on the 3D Attention-SRGANNetwork J.Remote Sensing,2020,7(12):1790-2022.2Dong C,Loy C C,He K,et al.Image super-resolution using deep convolutional networks J.IEEE Trans PatternAnal Mach In

25、tell,2016,38(2):295-307.3HUANGN,YANGY,LIUJ,et al.Single-image Super-resolution for Remote Sensing Data Using Deep Residual-learning Neural NetworkC/24th International Conference on Neural Information Processing,October 10-26,2017 Guangzhou,China.Springer,2017.4米恒,贾振堂.基于改进生成式对抗网络的图像超分辨率重建J.计算机应用与软件.2020,37(9):139-145.5章韬略,周永霞.一种注意力机制与SRGAN网络结合的超分辨率算法J.小型微型计算机系统,2021,42(12):2587-2591.86