改进生成式对抗网络的遥感影像超分辨率重建.pdf
《改进生成式对抗网络的遥感影像超分辨率重建.pdf》由会员分享,可在线阅读,更多相关《改进生成式对抗网络的遥感影像超分辨率重建.pdf(5页珍藏版)》请在文库网上搜索。
1、经纬天地Survey World2023年第4期No.420230引言遥感影像快速发展,在检测、分类、估产等方面应用广泛。超分辨率重建(SR)是通过算法来提高图像分辨率,将低分辨率影像恢复高分辨率1,近年来逐渐受到一些学者的关注。当前 SR 方法主要有基于重构、插值和机器学习。基于重构方法是通过插值核对采样点灰度进行插值,以获得接近高分辨率的放大效果。基于插值方法通过建立低分辨率与高分辨率图像转换模型,求解模型参数得到高分辨率图像。这两类方法在遥感影像应用中因成像过程中退化因素复杂,模型难以全面考虑。近年来数据驱动下深度学习的方法为遥感数赵耀1,葛小三2,金满库2(1.山西省测绘地理信息院,山
2、西 太原 030001;2.河南理工大学测绘与国土信息工程学院,河南 焦作 454003)改进生成式对抗网络的遥感影像超分辨率重建摘要:针对 SRGAN(Super-Resolution Generative Adversarial Network)在超分辨率重建过程中存在生成影像伪影、重建效果不佳问题,提出改进SRGAN网络遥感影像超分辨率重建方法。通过舍弃生成模型 BN(Batch Normalization)层,降低训练复杂度,同时在生成模型中引入密集残差块增加网络训练宽度,实现网络更深层次训练。采用l1损失函数代替均方差(MSE)损失函数,降低噪声影响。实验结果表明:本文方法较SRGA
3、N具有更高的PSNR(峰值信噪比)、SSIM(结构相似性),获得更好视觉效果。关键词:超分辨率;对抗网络;密集卷积网络;深度学习;损失函数中图分类号:TP79文献标识码:A文章编号:2095-7319(2023)04-0082-05Improved Generative Adversarial Networks for Super-Resolutionreconstruction of remote sensing imagesZHAO Yao1,GE Xiaosan2,JIN Manku2(1.Shanxi Institute of Surveying and Mapping Geograp
4、hic Information,Taiyuan 030001,China;2.College of Surveying Mapping and Land Information Engineering,Henan Polytechnic University,Jiaozuo 454003,China)Abstract:Aiming at the problems of generating image artifacts and poor reconstruction effect of SRGAN(Super-Resolution GenerativeAdversarial Network)
5、in the process of super-resolution reconstruction,we propose to improve the super-resolution reconstructionmethod of remote sensing images with SRGAN network.By discarding the BN(Batch Normalization)layer of the generative model,thetraining complexity is reduced,and at the same time,a dense residual
6、 block is introduced into the generative model to increase thetraining width of the network,so as to realize deeper training of the network.The l1loss function is used instead of MSE loss function toreduce the effect of noise.The experimental results show that this method has higher PSNR(Peak Signal
7、-to-Noise Ratio)and SSIM(Structural Similarity)than SRGAN,and obtains better visual effect.Key words:Super-Resolution;Generative Adversarial Network;densely connected convolutional network;deep learning;loss function收稿日期:20230531基金项目:河南省高等教育教学改革研究与实践项目(学位与研究生教育)(2021SJGLX100Y);河南省自然科学基金项目(2223004204
8、50)作者简介:赵耀(1986),男,山西太原人,本科,工程师,主要从事地图制图和测绘工程工作。E-mail:legend_828月1.1引进密集残差块的生成模型生成网络部分由多个残差块和两个亚像素卷积层组成,每个残差块中包含 2 个 33 的卷积层,卷积层后加上批量归一化层并且令 ReLU 作为激活函数。由于改进前生成模型在高频细节上表现并不理想,本文将基本残差块替换为密集残差块,可使网络能够进行更深层次的训练,得到更加理想的训练效果。同时,通过去除批量归一化层以减少高频细节的平滑。因此,去除基本残差块中的 BN 层,以达到在降低 GPU 内存占有率的同时生成更加真实高清的真实细节的效果,使
9、其在训练样本有限的情况下仍具有较好的重建性能。模型中密集残差块结构如图 2 所示。不同于传统框架中 L 层连接层仅有 L 个连接,密集残差网络增加连接数至 L(L+1)/2 层,使特征可以传到后面所有连接层中,让网络容量变得更高。引入密集残差块能够确保网络层之间流动性最大,这种密集连接模式需要的参数比传统卷积网络少,不需要重新学习冗余的特征映射。改进后的生成模型如图 3 所示。1.2判别模型采用类似 SRGAN 的判别模型,分为 3 部分,具体结构如图 4 所示。第 1 部分由 1 个卷积块和 1个 Leaky ReLU 激活函数组成,第 2 部分为 1 个基本模块,每 1 个基本模块由 1
10、个卷积块、1 个 LeakyReLU 激活函数和 1 个 BN 层组成。第 1 部分由 1个维度为 1024 的全连接层后接 1 个 Leaky ReLU激活函数组成,以获得分类概率。模型选择 LeakyReLU 作为激活函数,在负值数保留效果方面比据处理提供了新途径。2014 年,Dong 等将卷积神经网络(Convolutional Neural Network,CNN)应用于超分辨率重建2,建立三层卷积层网络,直接学习低分辨率与高分辨率图像之间的端对端的映射,相较于传统方法,在视觉效果和重建质量上都有了较大提高。由于网络层次太浅,在处理高分辨率影像时会丢失其纹理细节信息。针对上述不足,K
11、IM 等提出了加入深层网络的深度残差网络,并将网络深度增加至 52 层改进,使用网络权值共享块,使网络得到一定提升3。以上相较于传统模型虽然都有一定提升,但还无法达到令人满意的效果。2016 年 Ledig 等将对抗网络引入超分辨率重建技术,提出了超分辨率生成对抗网(SRGAN),解决了图像高频细节缺失问题4。本文针对 SRGAN伪影问题,引入密集残差块增大网络容量处理细节,去除批量归一化(BN)层,减少细节过度平滑,使用 l1损失函数减少损失惩罚,改善伪影。实验结果表明:本文模型更适合遥感影像重建。1改进生成对抗网络模型超分辨率重建生成式对抗网络模型基本原理是将 1 张低分辨率图像送入生成网
12、络生成伪高分辨率图像,再将伪高分辨率图像送入鉴别网络,鉴别网络判断伪高分辨率图像的真伪并与真实的高分辨率图像进行对比,得到伪高分辨率图像与真实高分辨率图像的损失(Gloss)和伪高分辨率图像与真实高分辨率图像的真实损失(Dloss),再将 Gloss和 Dloss 分别送入生成网络和鉴别网络。以此反复迭代训练生成网络和鉴别网络,直至达到纳什均衡,进而获得生成高分辨率图像。模型整体结构如图 1 所示。图 1超分辨率重建生成式对抗网络模型结构图 2密集残差块结构赵耀,葛小三,金满库:改进生成式对抗网络的遥感影像超分辨率重建83经纬天地Survey World2023年第4期No.42023ReLU
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 生成 对抗 网络 遥感 影像 分辨率 重建