多层渐进式特征对齐网络优化的空地影像稳健匹配.pdf
《多层渐进式特征对齐网络优化的空地影像稳健匹配.pdf》由会员分享,可在线阅读,更多相关《多层渐进式特征对齐网络优化的空地影像稳健匹配.pdf(8页珍藏版)》请在文库网上搜索。
1、第 49卷 第 10期2023年 10月Computer Engineering 计算机工程多层渐进式特征对齐网络优化的空地影像稳健匹配张欢1,黄涛1,许俊杰1,徐川1,杨威2(1.湖北工业大学 计算机学院,武汉 430068;2.武昌首义学院 信息科学与工程学院,武汉 430064)摘要:精细三维模型是智慧城市建设的关键空间基础信息,而视角变化、遮挡等因素导致基于航空影像生成的三维模型容易出现边缘不准确、孔洞以及建筑物立面纹理模糊等问题。地面影像可以很好地解决倾斜摄影建模底部缺失与区域遮挡的问题,因此,提出一种轻量化多层渐进式特征对齐网络优化的空地影像匹配方法,以实现空地影像的稳健匹配,为城
2、市建模提供一定的技术支撑。设计多层渐进式匹配网络优化策略,利用 EfficientNet-B3预训练模型的高层特征图进行双向匹配,取双向匹配的交集作为初始匹配点集。根据初始匹配点对,采用 RANSAC策略计算初始单应矩阵,运用该矩阵对地面影像进行图像变换,得到近似空中视角的影像,从而完成特征匹配与粗差剔除。针对空中影像和近空视角影像,在前面多层特征图上进行匹配和优化。在每一层特征图上都计算该层特征图的匹配和对上层匹配点对的位置校正,最终得到精确的匹配点集。以无人机 DJI-MAVIC2拍摄的航空影像及手持设备拍摄的地面影像等 8组典型数据作为对象进行实验,结果表明,与 SIFT、D2-net、
3、DFM 等方法相比,该方法具有良好的匹配性能,平均同名点匹配数量较次优方法提升了 1.3倍。关键词:三维模型;多层渐进式特征对齐网络;空地影像;渐进式匹配与优化;图像匹配开放科学(资源服务)标志码(OSID):中文引用格式:张欢,黄涛,许俊杰,等.多层渐进式特征对齐网络优化的空地影像稳健匹配 J.计算机工程,2023,49(10):178-185.英文引用格式:ZHANG H,HUANG T,XU J J,et al.Robust matching of aerial-ground images optimized by multi-layer progressive feature alig
4、nment network J.Computer Engineering,2023,49(10):178-185.Robust Matching of Aerial-Ground Images Optimized by Multi-Layer Progressive Feature Alignment NetworkZHANG Huan1,HUANG Tao1,XU Junjie1,XU Chuan1,YANG Wei2(1.School of Computer Science,Hubei University of Technology,Wuhan 430068,China;2.School
5、 of Information Science and Engineering,Wuchang Shouyi University,Wuhan 430064,China)【Abstract】Fine 3D models provide the key spatial basic information for smart city construction.However,factors such as perspective changes and occlusion lead to inaccurate edges,holes,and blurry building facade text
6、ures in 3D models generated from aerial images.Ground images can effectively solve the problems of missing bottoms and regional occlusion in oblique photography modeling.Therefore,a lightweight aerial-ground image matching method optimized by multi-layer progressive feature alignment is proposed to
7、achieve robust matching of aerial-ground images and provide certain technical support for urban modeling.A multi-layer progressive matching network optimization strategy is designed,utilizing the high-level feature maps of the EfficientNet-B3 pre-trained model for bidirectional matching by taking th
8、e intersection of the bidirectional matching as the initial matching point set.Based on initial matching point pairs,the RANSAC strategy is used to calculate the initial homography matrix,thereby using it to transform the ground image,to obtain an image with an approximate aerial perspective,which c
9、ompletes feature matching and gross error removal.For aerial and near-field perspective images,matching and optimization are carried out on the previous multi-layer feature maps.In calculating the matching of each layers feature map,the position of the upper layers matching point pairs is corrected
10、on each layers feature map,to ultimately obtain an accurate set of matching points.Experiments are conducted on eight sets of typical data,including aerial images captured by the drone DJI-MAVIC2 and ground images captured by handheld devices.The results demonstrate that the proposed method has good
11、 matching 基金项目:国家自然科学基金(41601443);湖北工业大学博士启动基金(BSQD2020056);湖北省自然科学基金面上项目(2022CFB501);湖北省教育厅科学技术研究项目(B2021351)。作者简介:张 欢(1997),男,硕士,主研方向为图像匹配;黄 涛、许俊杰,本科生;徐 川(通信作者)、杨 威,副教授、博士。收稿日期:2022-10-10 修回日期:2022-12-08 Email:图形图像处理文章编号:1000-3428(2023)10-0178-08 文献标志码:A 中图分类号:TP391performance compared to SIFT,D2-
12、net,DFM,and other methods,with an average 1.3x increase in the Number of Correct Matches(NCM)compared to the suboptimal method.【Key words】3D model;multi-layer progressive feature alignment network;aerial-ground image;progressive matching and optimization;image matchingDOI:10.19678/j.issn.1000-3428.0
13、0659490概述 精细化三维模型作为地理空间信息的重要表征,在智慧城市建设的城市规划、管理和交通等方面发挥了关键作用,倾斜影像等航空影像因具有大范围的场景感知能力而成为当前城市精细化三维建模的常用数据源。然而,在复杂城市区域(如遮挡问题严重的高楼密集区),视角变化、遮挡等因素导致基于航空影像生成的三维模型容易出现边缘不准确、孔洞以及建筑物立面纹理模糊等问题,因此,单一的空中影像并不具有复杂的建筑立面表示能力,而地面影像作为空中视角的重要补充,发展联合空地影像的三维建模可有效解决立面纹理模糊和模型孔洞问题。为满足联合空地影像的三维建模需求,首先需要解决空地影像的匹配问题。然而,由于拍摄角度的不
14、同以及光照的差异,导致空地影像间存在较大视角差异以及同名区域遮挡和畸变问题,给空地影像特征匹配带来了极大的困难1-3。目前,图像匹配方法大致可以分为 3 类,即基于区域的匹配、基于特征点的匹配以及基于深度学习的匹配。基于区域的匹配方法通常采用一个合适的区域相似性度量策略来进行图像间的像素级匹配。该类方 法 计 算 成 本 高,对 尺 度 变 化 及 视 角 变 化 比 较敏感4-6。基于特征点的匹配方法主要通过度量特征描述子的距离来实现特征点匹配,从最初的基于图像灰度的角点检测算法 Harris7以及 SIFT(Scale Invariant Feature Transform)算法8开始,特
15、征匹配方法应用广 泛,发 展 迅 速,相 继 出 现 了 ORB9、PCA-SIFT(Principle Component Analysis SIFT)10、SURF(Speed Up Robust Feature)11、ASIFT(Affine SIFT)12、联合对数极坐标描述与位置尺度特征13且局部结构约束的相位一致性匹配14等匹配方法。这些方法对尺度、旋转、视角变化有一定的适应性,对计算时效性也进行了有效的探索,但是在存有显著视角差异与畸变的空地影像匹配上,这些方法匹配效果较差甚至匹配失败。随着人工智能的兴起,深度学习在图像匹配中的应用越来越广泛,相继出现了基于学习的不变特征变换 L
16、IFT 方法15、基于深层特征匹配的 DFM 方法16、基 于 全 卷 积 特 征 图 像 块 描 述 的 Siamese 网络17、基于图神经网络的 SuperGlue方法18以及联合梯度描述符的空天匹配网络19等方法。借助深度学习强大的特征学习能力,这些方法在视角变化较小时匹配性能较好,但是由于网络结构的特殊性以及未充分利用特征信息,导致这些方法对空地影像匹配的泛化性不够。空地影像匹配的视角差异及同名区域遮挡导致匹配识别同名点较少甚至匹配失败等问题。如何提高空地影像同名区域的特征提取能力与匹配能力,构造空地视角特征的有效描述,实现空地影像稳健匹配,具有实际研究与应用价值。本文借助深度学习高
17、层的语义特征来构建空地特征的可靠描述,以进行粗匹配。利用粗匹配结果变换地面影像到空中视角,然后在空中视角上进行多层的匹配与优化。在此基础上,提出一种多层渐进式匹配网络优化的空地影像稳健匹配方法(MLFM),以克服空地匹配时存在的视角差异与畸变问题,实现空地影像的鲁棒匹配。1改进 DFM 方法 DFM16作为主流的图像匹配方法,将预训练过的 ResNet101网络作为图像局部特征的提取器,通过融合高层语义特征和低层局部特征来优化图像匹配过程,在倾角差异小的影像上取得了鲁棒的匹配效果,成为图像匹配领域一个新的范式。因此,本文算法借鉴 DFM 方法相关的匹配思想。空地影像由于拍摄角度的不同以及光照的
18、差异,往往会给图像匹配任务带来同名区域遮挡和畸变等问题,而遮挡区域和畸变区域由于局部邻域在空中和地面影像的表现形式不一致,因此需要较大的感受野或大尺度特征来捕捉稳定的特征描述。而在非遮挡区域和非畸变区域,空地影像同名点相同邻域的特征趋于一致,小尺度特征即可构成空地影像间的一致性描述,因此,此时不宜采用过大的尺度特征来进行同名点间的特征描述。为了兼顾小尺度特征和大尺度特征,本文采用能聚合多尺度特征的EfficientNet预训练模型来进行空地影像间的特征描述。EfficientNet 通过对网络深度和网络宽度的探索,利用一组缩放系数统一缩放这 2个维度,较好地融合了不同尺度的特征,在 Image
19、Net数据集上的分类 Top-1准确率远高于相同参数量级的其他网络,说明了 EfficientNet具有强大的特征提取能力。第 49卷 第 10期张欢,黄涛,许俊杰,等:多层渐进式特征对齐网络优化的空地影像稳健匹配performance compared to SIFT,D2-net,DFM,and other methods,with an average 1.3x increase in the Number of Correct Matches(NCM)compared to the suboptimal method.【Key words】3D model;multi-layer pr
20、ogressive feature alignment network;aerial-ground image;progressive matching and optimization;image matchingDOI:10.19678/j.issn.1000-3428.00659490概述 精细化三维模型作为地理空间信息的重要表征,在智慧城市建设的城市规划、管理和交通等方面发挥了关键作用,倾斜影像等航空影像因具有大范围的场景感知能力而成为当前城市精细化三维建模的常用数据源。然而,在复杂城市区域(如遮挡问题严重的高楼密集区),视角变化、遮挡等因素导致基于航空影像生成的三维模型容易出现边缘不
21、准确、孔洞以及建筑物立面纹理模糊等问题,因此,单一的空中影像并不具有复杂的建筑立面表示能力,而地面影像作为空中视角的重要补充,发展联合空地影像的三维建模可有效解决立面纹理模糊和模型孔洞问题。为满足联合空地影像的三维建模需求,首先需要解决空地影像的匹配问题。然而,由于拍摄角度的不同以及光照的差异,导致空地影像间存在较大视角差异以及同名区域遮挡和畸变问题,给空地影像特征匹配带来了极大的困难1-3。目前,图像匹配方法大致可以分为 3 类,即基于区域的匹配、基于特征点的匹配以及基于深度学习的匹配。基于区域的匹配方法通常采用一个合适的区域相似性度量策略来进行图像间的像素级匹配。该类方 法 计 算 成 本
22、 高,对 尺 度 变 化 及 视 角 变 化 比 较敏感4-6。基于特征点的匹配方法主要通过度量特征描述子的距离来实现特征点匹配,从最初的基于图像灰度的角点检测算法 Harris7以及 SIFT(Scale Invariant Feature Transform)算法8开始,特征匹配方法应用广 泛,发 展 迅 速,相 继 出 现 了 ORB9、PCA-SIFT(Principle Component Analysis SIFT)10、SURF(Speed Up Robust Feature)11、ASIFT(Affine SIFT)12、联合对数极坐标描述与位置尺度特征13且局部结构约束的相位
23、一致性匹配14等匹配方法。这些方法对尺度、旋转、视角变化有一定的适应性,对计算时效性也进行了有效的探索,但是在存有显著视角差异与畸变的空地影像匹配上,这些方法匹配效果较差甚至匹配失败。随着人工智能的兴起,深度学习在图像匹配中的应用越来越广泛,相继出现了基于学习的不变特征变换 LIFT 方法15、基于深层特征匹配的 DFM 方法16、基 于 全 卷 积 特 征 图 像 块 描 述 的 Siamese 网络17、基于图神经网络的 SuperGlue方法18以及联合梯度描述符的空天匹配网络19等方法。借助深度学习强大的特征学习能力,这些方法在视角变化较小时匹配性能较好,但是由于网络结构的特殊性以及未
24、充分利用特征信息,导致这些方法对空地影像匹配的泛化性不够。空地影像匹配的视角差异及同名区域遮挡导致匹配识别同名点较少甚至匹配失败等问题。如何提高空地影像同名区域的特征提取能力与匹配能力,构造空地视角特征的有效描述,实现空地影像稳健匹配,具有实际研究与应用价值。本文借助深度学习高层的语义特征来构建空地特征的可靠描述,以进行粗匹配。利用粗匹配结果变换地面影像到空中视角,然后在空中视角上进行多层的匹配与优化。在此基础上,提出一种多层渐进式匹配网络优化的空地影像稳健匹配方法(MLFM),以克服空地匹配时存在的视角差异与畸变问题,实现空地影像的鲁棒匹配。1改进 DFM 方法 DFM16作为主流的图像匹配
25、方法,将预训练过的 ResNet101网络作为图像局部特征的提取器,通过融合高层语义特征和低层局部特征来优化图像匹配过程,在倾角差异小的影像上取得了鲁棒的匹配效果,成为图像匹配领域一个新的范式。因此,本文算法借鉴 DFM 方法相关的匹配思想。空地影像由于拍摄角度的不同以及光照的差异,往往会给图像匹配任务带来同名区域遮挡和畸变等问题,而遮挡区域和畸变区域由于局部邻域在空中和地面影像的表现形式不一致,因此需要较大的感受野或大尺度特征来捕捉稳定的特征描述。而在非遮挡区域和非畸变区域,空地影像同名点相同邻域的特征趋于一致,小尺度特征即可构成空地影像间的一致性描述,因此,此时不宜采用过大的尺度特征来进行
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多层 渐进 特征 对齐 网络 优化 空地 影像 稳健 匹配