改进YOLOv5的遥感图像小目标检测算法.pdf
《改进YOLOv5的遥感图像小目标检测算法.pdf》由会员分享,可在线阅读,更多相关《改进YOLOv5的遥感图像小目标检测算法.pdf(7页珍藏版)》请在文库网上搜索。
1、Computer Era No.12 20230 引言遥感技术是通过探测和测量地球表面,将地表的数据信息处理、应用和分析的技术,目前广泛应用于农业、地质、水利等多个领域。近年来,遥感图像中的目标检测与分类成为了现阶段此领域中的重要问题之一。有关的研究如AdaBoost1、支持向量机2等传统机器学习算法,在遥感图像中的小目标检测时表现不佳。因此研究人员近年来将各种基于深度学习的图像目标检测算法引入到遥感图像目标检测中,在精度和适用性上对比传统机器学习方法均有提升。基于深度学习的目标检测算法由两阶段检测算法与单阶段检测算法组成。主流的两阶段检测算法为R-CNN3及其衍生出的Fast R-CNN4和
2、Faster R-CNN5。两阶段检测方法由特征提取网络和候选区域生成网络两个核心组成,特征提取网络提取出图像中感兴趣的目标区域,之后在候选区域生成网络中,DOI:10.16644/33-1094/tp.2023.12.020改进YOLOv5的遥感图像小目标检测算法张腾泽,李旭军,饶立明(湘潭大学物理与光电工程学院,湖南 湘潭 411100)摘要:针对目前主流算法在遥感图像目标检测任务中对于图像中小目标检测效果较差、易产生漏检误检的问题,提出一种改进 YOLOv5 的小目标检测算法 YOLOv5-FRM。首先在原 YOLOv5 骨干网络的最后添加坐标注意力机制Coordinate attent
3、ion(CA)模块替代原SPP模块,之后提出一种改进多尺度空间净化模块,实现了检测头的添加,并融合进原YOLOv5的颈部网络中。最后引入Copy-reduce-paste数据增强方法提高模型训练效果。实验结果表明,该改进算法有效提升了遥感图像小目标的检测精度,降低了误检率与漏检率。关键词:YOLOv5;遥感图像;目标检测;注意力机制;空间净化;数据增强中图分类号:TP312文献标识码:A文章编号:1006-8228(2023)12-89-07Improved YOLOv5 for remote sensing image small target detectionZhang Tengze,L
4、i Xujun,Rao Liming(School of Physics and Optoelectronics,Xiangtan University,Xiangtan,Hunan 411100,China)Abstract:An improved YOLOv5 small target detection algorithm,YOLOv5-FRM,is proposed to address the issue of poordetection performance of mainstream algorithms in remote sensing image small target
5、 detection.Firstly,a Coordinate Attention(CA)module is added at the end of the original YOLOv5 backbone network to replace the original SPP module.Then,an improvedmulti-scale spatial purification module is proposed,which implements the addition of detection heads and integrates them into theneck net
6、work of the original YOLOv5.Finally,a Copy-reduce-paste data augmentation method is introduced to improve the trainingeffectiveness of the model.The experimental results show that the improved algorithm effectively improves the detection accuracyof small targets in remote sensing images,and reduces
7、the false detection rate and missed detection rate.Key words:YOLOv5;remote sensing images;target detection;attention mechanism;spatial purification;data augmentation收稿日期:2023-08-25作者简介:张腾泽(1998-),男,辽宁大连人,硕士生,主要研究方向:计算机视觉。通讯作者:李旭军(1978-),女,湖南安化人,教授,硕士生导师,博士,主要研究方向:计算机视觉。89计算机时代 2023年 第12期进一步处理特征,生成可能
8、的目标候选区域。两阶段检测方法精度高,但是检测速度较慢。而单阶段检测方法不生成候选区域,而是将物体的类别与位置信息作为整体同时预测。单阶段检测算法有Single Shotmultibox Detector(SSD)6、Retina-Net7以 及 YouOnlyLookOnce(YOLO)8系列等。相比两阶段检测方法,单阶段检测方法简单高效,具有较好的实时性和准确性,更适合实际应用。由于遥感图像分辨率高、背景复杂、密集的小目标较多,目前流行的基于深度学习的检测模型对于遥感图像上的小目标检测大多精度不佳。因此研究人员对原有的检测模型进行了改进。汪鹏等9人基于YOLOv3模型使用了DIOU损失函数
9、来提高预测框的定位精度。赵文清等10人针对光学遥感图像中多尺度物体检测效果差的问题,采用了跨尺度连接操作以增强模型的特征提取能力。Shao等11人改进了YOLOv5的特征融合网络,提出一种自适应空间特征融合网络,以获得更好的特征融合效果。他们在夜间遥感图像检测方面进行了实验,并取得了较好的成果。李坤亚等12在骨干网络中引入了通道全局注意力机制,降低无关信息对模型的影响,提高了模型的鲁棒性。林文龙等13人将可变形卷积引入到Retina-Net中,旨在提高遥感图像检测的准确性。该方法能够使模型自适应地调整感受野,并针对环境背景复杂和物体较小等问题进行处理,从而解决了遥感图像检测精度低的问题。周华平
10、等15人针对遥感图像中目标尺寸小且较密集导致难以检测的问题,在YOLOv5中引入了频率通道注意力机制。提高了模型对小目标的检测效果。刘涛等16在原YOLOv5模型中添加了一个针对尺寸较小目标的细粒度检测层,相比于原模型提升了检测效果。由于遥感图像与自然图像相比背景信息较复杂、目标信息较小、背景信息与目标信息占比差距过大导致模型检测效果不佳,研究人员一般基于流行检测模型进行改进如引入各类注意力机制、更改损失函数、改进检测锚框等方法。但少有研究人员从原模型的特征融合结构入手,此类改进方式较少,且少有针对小目标的注意力机制融合方法。综上所述,本文基于YOLOv5并根据上述总结进行了多点改进。针对遥感
11、图像小目标:首先研究模型提升初步提取关键特征的能力,本文引入了将位置信息嵌入到通道注意中的协调注意力机制;接下来本文重塑了原有的 YOLOv5颈部网络并融合了改进多尺度特征融合模块,添加了检测头;最后,为解决遥感图像训练图像目标信息相比于背景信息占比过低的情况,本文使用了Copy-Reduce-Paste18数据增强,提升了遥感图像中的小目标信息占比。综上所述,本文构造了一种改进 YOLOv5的遥感图像小目标检测新算法,并对改进算法进行了在DOTA数据集上的评估,实验结果显示其检测精度指标mAP相比原YOLOv5提高了3.2%,且相较与各类主流遥感目标检测方法在精度上也有明显提升。1 YOLO
12、v5 网络模型结构YOLOv5是一种单阶段目标检测算法,由骨干网络(Backbone)、特征融合网络(Neck)和预测网络(Head)三部分构成。骨干网络模块首先从原始图像中提取特征;之后特征融合模块进一步对得到的特征图进行处理,通过特征金字塔(Feature Pyramid Networks,FPN)和路径聚合19(Path Aggregation Network,PAN)模块融合不同层次的特征图,最后将结果输入到预测模块中进行目标定位和分类,生成具体的检测框坐标和类别信息。在 YOLOv5中,图像输入骨干网络模块后,对输入图像进行卷积操作,通过三次连续的下采样后,会生成三张不同尺度的特征图
13、输入到特征融合模块。之后特征融合模块将三张不同层次的特征图,通过FPN 和 PAN 网络,将它们进行融合,以获取更多的目标信息。最后输入到预测模块对融合特征图进行检测,生成检测框的类别信息、坐标和置信度。最终筛选和合并重叠的检测框得到检测结果。YOLOv5的网络结构图如图1所示。图1YOLOv5网络结构90Computer Era No.12 20232 改进YOLOv5遥感图像小目标检测YOLOv5检测普通图像效果较好,但遥感图像目标相较于普通图像目标尺寸较小,原始YOLOv5模型检测遥感图像对小目标的检测效果较差,因此针对遥感图像的特点对原YOLOv5模型做三点改进:在骨干网络的最后添加了
14、协调注意力机制 Coordinateattention(CA)20模块替换了原SPP模块,加强了模型初步提取特征的能力。重塑了颈部网络,添加了检测头,并融合多尺度空间净化模块FRM,提升了模型特征融合的能力。使用了Copy-Paste 数据增强方法增加训练图像中小目标的数量。平衡了训练样本中小目标与其他目标的信息。改进后的 YOLOv5-FRM结构如图2所示。图2改进YOLOv5-FRM网络结构2.1 融合CA注意力模块注意力机制可以通过在检测网络中添加注意力模块,减少图像复杂信息的干扰,提高检测网络对目标信息的感兴趣程度,因此可以有效提升检测性能。YOLOv5 作为主流单阶段目标检测模型,主
15、要用于自然图像的检测,然而,在处理遥感图像的检测任务时,由于其背景与目标占比不均衡,会导致原模型对于小目标区域的关注度不足,会出现漏检或误检情况。为了解决这个问题,在 YOLOv5 骨干网络的最后添加Coordinate attention(CA)模块代替了原 SPP 模块。CA注意力机制将位置信息嵌入到通道注意力中,使模型在复杂的背景信息下更加注重需要检测的目标位置和类别,这样能够有效提高对于遥感图像小目标检测的精度。CA注意力机制模块结构如图3所示。图3协调注意力模块结构CA注意力机制首先利用了两个一维全局池化操作,分别将沿着垂直方向和水平方向的输入特征聚合成两个独立的方向感知特征映射。这
16、两个嵌入了特定方向信息的特征图分别编码到两个注意力图中,每个注意力图都捕获了输入特征图沿着一个空间方向的注意力信息。因此,位置信息可以保存在生成的注意力图中,之后生成的注意力图通过乘法应用到输入特征图上,以此提高了特征提取能力。这里将 CA模块融合进Backbone中,替换掉了原主干网络的SPP模块,以加强模型目标提取特征的能力,并将该模块命名为CoordAtt模块。2.2 检测头添加与改进空间净化模块融合由于原始YOLOv5模型下采样倍数较大,在较深特征图上很难学习到遥感图像小目标特征信息,为此,重塑了YOLOv5的颈部网络,添加检测头并改进多尺度空间净化模块 FRM 进行融合来解决该问题,
17、FRM通过不同层级的下采样和上采样结构来平衡特征尺度,之后进行特征拼接,拼接完成后进行两种尺度的空间净化,最后将净化特征图分别扩展相乘到原特征图上,再进行拼接融合。图像由骨干网络模块初步特征提取得到三个不同尺度的特征图输入到特征融合模块。这三张特征图编号为C2,C3,C4,接下来对得到的特征图C4再进行一次下采样操作得到特征图C5,再进行一次卷积之后得到F5特征图。之后利用得到的特征图F5进行一次上采样操作和C3特征图融合得到F4特征图,之后对F5特征图创建两个分别对应F3,F4的上采样操作,在最后加上11的卷积连接C3,得到F3特征图并实现了第三个检测头的生成。同样,最后对F5特征图创建三个
18、上采样操作,对应F3,F4,F5,在最后加上11的卷积连接C2,实现F2的特征图并实现了第四个检测头的生成。总体来说,第四个检测头与F2特征图是由F5,F4,F3三个特征图融合而来,是一个层层递进的融合结构,此结构对输入的特征图做了充分的多尺91计算机时代 2023年 第12期度特征融合,相比于原YOLOV5的颈部结构特征融合更加充分。在原始YOLOv5模型中,FPN有着融合不同尺度特征的功能,但不同尺度特征差异较大,直接地对它们进行融合会产生一定量的冲突信息,导致多尺度表达能力不佳。因此,针对此问题进行改进,以提高模型在多尺度表达上的性能表现,在原结构中融合了FRM来对冲突信息进行过滤,减少
19、冲突信息对小目标特征信息的影响。(a)FRM的框架(b)在a中用蓝色线表示的结构图4改进多尺度空间净化模块FRM结构由 F2,F3,F4,F5得到 L1,L2,L3,L4四张特征图后,将它们输入FRM模块。FRM主要由通道净化模块和空间净化模块两部分构成,这两个模块可以同时在空间和通道的维度上产生自适应权重,使特征学习更重要的路径。将输入的特征图压缩到空间维度中为来获得通道注意力图。通道净化模块的结构如图4所示。xm被定义为输入的(m=1,2,3,4)FRM 层。X(n,m)被定义为从nth到mth层开始调整大小的结果层。Xmk,x,y是被定义为mth的值在kth上的特征图通道位于该位置(x,
20、y)。所以,上分支的输出为:Kmx,y=amX()1,mx,y+bmX()2,mx,y+cmX()3,mx,y+dmX()4,mx,y式中,Kmx,y表示mth的输出向量位于该位置上的图层(x,y)。a,b,c,d为通道自适应权重,其大小为111。a,b,c,d的定义为:am,bm,cm,dm=AP()F+MP(F)F是由连接操作生成的特征,AP表示平均池化,MP表示最大池化,然后将这两个权值在空间维度上求和,在s型矩阵后生成基于两个通道的自适应权重。此部分输出如下:mx,y=c=14()mc,x,yX()1,mk,x,y+mc,x,yX()2,mk,x,y+mc,x,yX()3,mk,x,y
21、+mc,x,yX()4,mk,x,y其中,x和y表示特征图的空间位置,k表示输入特征图的通道。mx,y是在位置(x,y)处的输出特征向量。mc,x,y,mc,x,y,mc,x,y,mc,x,y表示相对于mth的空间注意力权重层,其中c表示它们的通道,,可以用式表示:m,m,m,m=Softmax(F)其中,F的含义等同于式,通道方向上的特征图通过softmax层进行归一化,可以得到不同通道在同一位置的权重。因此,该模块的总输出可以表示为:pm=m+KmFRM各层的特征通过自适应权重融合在一起,并最后经过整个网络以p1,p2,p3,p4输出。2.3 使用Copy-reduce-paste数据增强
22、在遥感图像数据集中,小目标所占的正样本数量较少,因此训练模型时会更偏向于检测更大的目标。原YOLOv5模型使用 Mosaic数据增强方法来提高模型训练样本的丰富性,首先从训练集中随机选取四张不同的图像。之后将这四张图像随机拼接成一张新的图像,最后选取新图像中的一个区域作为最终的训练样本,并对其进行如缩放、旋转等数据增强操作。但Mosaic数据增强无法解决小目标信息在遥感图像中所占比例较小的问题,因此在生成的新训练样本图像的小目标信息占比仍比较小,训练仍无法平衡小目标信息与其他冗余信息。为了提升在使用Mosaic数据增强时遥感图像小目标检测精度,进一步引入Copy-reduce-paste数据增
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 YOLOv5 遥感 图像 目标 检测 算法