改进YOLOv3的轻量化漂浮物检测算法.pdf
《改进YOLOv3的轻量化漂浮物检测算法.pdf》由会员分享,可在线阅读,更多相关《改进YOLOv3的轻量化漂浮物检测算法.pdf(10页珍藏版)》请在文库网上搜索。
1、Water Resources and Hydropower Engineering Vol.54 No.10170CEditorial Department of Water Resources and Hydropower Engineering.This is an open access article under the CC BY-NC-ND license.Resources and Hydropower Engineering,2023,54(10):170-179.REN Yingjie,LI Chuanqi,WANG Wei,et al.Lightweight floati
2、ng object detection algorithm based on improved YOLOv3J.Water任英杰李传奇王薇,等改进YOLOv3的轻量化漂浮物检测算法J.水利水电技术(中英文2023.54(10):170-179水利水电技术(中英文)第54卷2023年第10 期改进YOLOv3的轻量化漂浮物检测算法任英杰,李传奇,王薇,葛召华2(1.山东大学土建与水利学院,山东济南250061;2.山东省水利综合事业服务中心,山东济南250013)摘要:【目的】为解决水域监控下漂浮物检测效率低、检测模型复杂度高的问题,提出一种基于改进YOLOv3的轻量化漂浮物检测算法。【方法】使
3、用轻量级网络MobileNetv3代替YOLOv3的主干特征提取网络Darknet53以降低模型计算量和参数;构建简化版加权双向特征金字塔网络(Bi-FPN-tiny)以进行多尺度特征的加权融合;利用Focal Loss优化损失函数,加强对于困难样本的学习。为验证所提算法的有效性,建立了PASCALVOC格式的漂浮物数据集,并进行数据标注和增广。【结果】结果表明:改进后的算法平均精度均值(mAP)达到92.8%,比原算法提高了7.1%;在NVIDIAQuadroP2200显卡下检测速度达到了8 6 fps/s,高于YOLOv3算法的47 fps/s;模型体积为43.7 MB,仅为初始算法的17
4、.7%。【结论】改进YOLOv3是一种性能优越且轻量化的模型,为在移动端进行实时漂浮物检测提供了新的契机。关键词:YOLOv3算法;漂浮物;目标检测;轻量化;特征融合作者互动DO:10.13928/ki.wrahe.2023.10.015开放科学(资源服务)标志码(OSID):中图分类号:TP399文献标志码:A文章编号:10 0 0-0 8 6 0(2 0 2 3)10-0 17 0-10Lightweight floating object detection algorithm based on improved YOLOv3REN Yingjie,LI Chuanqi,WANG Wei
5、,GE Zhaohua?(1.School of Civil Engineering,Shandong University,Jinan 250061,Shandong,China;2.Shandong Water ConservancyComprehensive Service Center,Jinan250013,Shandong,China)Abstract:ObjectiveTo address the challenges of low detection eficiency and high model complexity in detecting floatingobjects
6、 under water monitoring,a lightweight floating object detection algorithm based on improved YOLOv3 is proposed.MethodsJThe proposed algorithm employs MobileNetv3 as the feature extraction network and constructs a simplified version ofweighted bidirectional feature pyramid(Bi-FPN-tiny)for feature fus
7、ion.Focal Loss is used to optimize the loss function andstrengthen the learning of dificult samples.To evaluate the effectiveness of the improved algorithm,a floating object dataset inPASCAL VOC format is established and tested after data annotation and amplification.Results JExperimental result sho
8、w thatthe mean average accuracy(mAP)of the improved algorithm reaches 92.8%,which is 7.1%higher than the original algorithm.The detection speed of NVIDIA Quadro P2200 is 86 fps/s,higher than the 47 fps/s of YOLOv3.The model size is 43.7 MB,收稿日期:2 0 2 3-0 2-0 9;修回日期:2 0 2 3-0 5-15;录用日期:2 0 2 3-0 5-16
9、;网络出版日期:2 0 2 3-0 6-2 0基金项目:山东省自然科学基金(ZR2021ME030);深圳市可持续发展科技专项项目(KCXFZ20201221173407021);济南市水务科技项目(JN-SWKJ202106)作者简介:任英杰(1995),男,硕士研究生,研究方向为图像识别、水利工程。E-mail:12 0 432 148 5 q q.c o m通信作者:李传奇(196 3一),男,教授,博士,研究方向为防洪减灾、智慧水利。E-mail:l i c h u a n q i s d u.e d u.c n171水利水电技术(中英文)第54卷2023年第10 期任英杰,等/改进Y
10、OLOv3的轻量化漂浮物检测算法which is only 17.7%of the initial algorithm.Conclusion J The improved YOLOv3 is a high-performance and lightweight model,providing new opportunities for real-time floating object detection on mobile devices.Keywords:YOLOv3 algorithm;floating objects;object detection;lightweight;featu
11、re fusion0引言大范围高清水利视频监控系统在河湖监管保护中发挥着重要作用。在涉河湖区域和无人值守环境中,利用视频监控进行异常事件(如漂浮物)的自动准确检测已成为一个迫切的需求。河流、湖泊、水库等水域中常常出现各种漂浮物,漂浮物的大量聚集会对水体水质及水利工程的安全运行带来不利影响。利用监控视频实现漂浮物目标检测可提升河湖智能化管理水平,但海量的监控视频给数据存储和数据分析带来了极大的挑战。传统方法依靠人工判读视频图像进行漂浮物目标检测,不仅监控工作量巨大,而且检测精度和效率都无法得到保证。因此,及时从海量数据中捕捉关键信息,准确高效地识别和定位漂浮物,对实现河湖智能化管理具有重要意义。
12、随着目标检测算法2-4 的不断发展,基于深度学习的目标检测算法相对于传统检测算法具有更强的鲁棒性和泛化能力。基于深度学习的目标检测算法可分为两类:基于逻辑回归的单阶段目标检测算法和基于候选框区域的双阶段目标检测算法。单阶段检测算法5-7 ,如YOLO和SSD,将分类任务和定位任务进行合并,可以在一次特征提取后获取目标的位置和类别。因此,单阶段目标检测算法在需要进行快速目标检测的场景中应用广泛,但其检测精度较低。双阶段目标检测算法8-9】,如Faster-RCNN和Mask-RCNN,则在图像中生成一系列候选区域,再对候选区域进行分类和回归,从而大大提升了检测精度,但检测速度较慢,难以满足实时检
13、测的任务需求。早期用于水面漂浮物的检测方法包括背景减法10 、帧差法1 和图像分割12 等。这些目标检测算法主要基于手工设计的特征(Hand-craftedfeatures),这些特征容易受到特征选择、对象形状和背景变化等因素的影响,从而导致检测的鲁棒性和泛化能力较差。近年来,针对不同场景下的漂浮物检测任务,越来越多的学者进行了各种算法的改进研究,以进一步提高漂浮物检测的精度和效率。其中,深度学习方法由于其优良的泛化能力和鲁棒性,在国内外已被应用到水面漂浮物的计算机视觉检测中。由于国内外对于河湖水环境问题的关注程度不同,国外学者对水面漂浮物的研究相对偏少。李国进等13-14 以人工湖水面漂浮物
14、为素材,对Faster-RCNN和YOLOv3目标检测算法进行改进,将基于边界框的定位替换为基于像素点的定位,提高了算法的识别和定位精度。刘伟等【15 通过互联网抓图建立漂浮物数据集,提出了一种基于Mask-RCNN的水面漂浮物识别方法,与基于HOG特征的传统目标检测算法相比,准确率和召回率分别提高了16%和13.8%。陈娜等人【16 提出了一种基于智能视频监控系统的河湖四乱巡检技术方案,将面向小目标的多尺度Faster-RCNN检测算法与视频监控系统集成应用。LIN等17 提出了一种改进的YOLOv5s(FM A-YO LO v 5s)算法,通过在主干网络的末端引人特征图注意力(featur
15、e-map at-tention)来增强网络特征提取能力。ZHANG等18 对Faster-RCNN目标检测算法进行改进,通过融合不同层次的特征信息提高水面漂浮物检测精度,改进算法的平均精度(mAP)为8 3.7%,检测速度为13帧/s。在背景复杂、光照变化等复杂真实环境下,漂浮物的精准检测一直是一个呕需解决的难点。目前的漂浮物检测算法虽然带来了一定程度的精度提升,但由于所涉及的深度网络模型参数过多,模型不够轻量化,需要大量的存储空间和运行资源来完成任务。因此,移动端运行规模较大的深度网络模型面临困难,迫切需要对基于深度学习的目标检测模型进行轻量化处理。为平衡检测精度、速度和网络复杂度,学者们
16、提出了一系列轻量化卷积神经网络模型,其核心在于设计更为高效的卷积方式,在少量牺牲检测精度的情况下加速模型收敛。目标检测算法的发展趋势是通过构建更深、更宽、更复杂的网络结构来提高检测精度,但这通常需要牺牲检测速度和增加网络复杂度。本文提出了一种轻量化目标检测算法,通过改进YOLOv3算法,用于视频监控下漂浮物检测任务。该算法在保持较高检测精度的同时,减少模型计算量,降低模型资源占用本文算法的主要改进如下:(1)使用轻量级网络MobileNetv319替换YOLOv3的主干特征提取网络DarkNet-53,引人深度可分离卷积来大幅度降低模型的参数量和计算量;(2)构建简化版加权双向金字塔结构(Bi
17、-FPN-tiny)【2 0】对不同尺度的特征进行加权融172水利水电技术(中英文)第54卷2023年第10 期任英杰,等/改进YOLOv3的轻量化漂浮物检测算法合,以有效提高多尺度漂浮物的检测效果;(3)通过引人Focal Loss损失函数2 1 对原始算法的损失函数进行优化,提高算法对于困难样本的挖掘能力,从而进一步提高目标检测精度1YOLOv3算法相较于主流的双阶段检测算法,YOLOv3算法具有明显的实时性优势。该算法将目标检测问题转化为单一的回归问题,无需生成候选区域,直接在图像网格中回归目标的位置和大小,从而生成最终的检测结果。2 0 18 年,REDMON等8 在YOLO及YOLO
18、v2的基础上提出了YOLOv3,采用残差单元和跳跃连接构建全卷积网络DarkNet-53作为基础特征提取网络,以解决网络加深带来的梯度消失和梯度爆炸问题。该算法还设计了多尺度预测结构,对不同维度的特征信息进行融合,以提高多尺度目标的检测精度。YOLOv3网络结构如图1所示,输人图片经过主干网络下采样后,在最后3个阶段分别输出1313、2 6 26、52 52 三种不同尺度的特征图。在预测端,YOLOv3将输人图像按照特征图尺寸划分为SS个网格,每个单元格负责预测落人其中心的待检目标。每个单元格将输出多个预测框以及每个预测框的置信度和所属类别的概率,最终通过非极大抑制确定目标的位置。YOLOv5
19、是YOLO系列算法的最新版本,由Ultr-alytics公司在2 0 2 0 年发布。尽管YOLOv5在网络结构和训练策略上进行了改进,但在实际应用中,YOLOv3已经被广泛验证,具有更为稳定和可靠的性能。因此,本文选择改进YOLOv3进行漂浮物目标检测。虽然YOLOv3在MSCOCO、PA SCA LVO C等大型公开数据集上表现出色,但在基于视频监控平台的漂浮物目标检测等实际检测任务中,仍存在以下不足之处:(1)分析YOLOv3的全卷积网络结构,发现其包含了一系列的标准卷积、上采样、残差单元等基础模块。但随着网络的加深,导致网络参数量和计算开销急剧增加,对于搭载并运行该算法的平台硬件要求较
20、高。因此,该算法的模型复杂度仍需要进一步改进,以适应更为轻量化的硬件平台。(2)在监控画面下,漂浮物的尺度变化较大,YOLOv3的多尺度预测方式在提取特征的鲁棒性上较差,尤其对于小尺度的漂浮物目标识别效果不理想。(3)漂浮物目标检测面临着曝光、遮挡等诸多背景干扰,在不同光线条件下检测目标特征差异悬殊。然而,YOLOv3对于困难样本的挖掘能力不足,导致漏检、误检情况严重。因此,该算法的进一步改进仍然具有重要意义2改进的YOLOv3算法本文对YOLOv3算法进行了三方面的改进,分别为采用轻量化的MobileNetv3主干网络19、构建简化版的加权双向特征金字塔结构(Bi-FPN-tiny)【2 0
21、】、引入Focal Loss 函数2 1。通过这些改进,改进后的算法在检测精度、速度和复杂度三方面取得了有效权衡。2.1轻量型特征提取网络设计MobileNetv3网络采用深度可分离卷积代替标准卷积,以降低模型的参数量和计算量,卷积方式如图2所示。深度可分离卷积包括逐通道卷积(DepthwiseCon-InputsConvolutionalConcatConvolutionalx5ConvConvYOLO-headResidualx1ConvolutionalResidualx2ConvolutionalResidualx8Residualx8ConcatConvolutionalx5Conv
22、ConvYOLO-head11Residualx4ConvolutionalConvolutional1Darknet-531Convolutionalx5ConvConvConvYOLO-head图1YOLOv3网络结构Fig.1Network architectureof YOLOv3173水利水电技术(中英文)第54卷2023年第10 期2任英杰,等/改进YOLOv3的轻量化漂浮物检测算法DepthwiseConv33BNReLU6Conv33PointwiseConv3x3BNBNReLUReLU6(a)标准卷积(b)深度可分离卷积图2卷积方式Fig.2Comparison of co
23、nvolution methodsvolution)和逐点卷积(PointwiseConvolution)两个步骤,前者使用单通道滤波器对每个输人通道进行卷积,后者使用N个11滤波器整合输出特征图。尽管深度可分离卷积整体效果与标准卷积类似,但计算量和模型参数量都大幅减少。在卷积核尺寸为DkDk、输人特征图尺寸为D,xDr、输入和输出通道数分别为M和N的情况下,当步长为1且存在padding时,标准卷积的计算量为F=DkXDkXMXNXD,XD(1)而深度可分离卷积的计算量为F2=DkDkM D+M ND,D,两者相互比较,可得计算量缩小为原来的FDkDkMND,DFF2DkDkMD,+MNDD
24、F11(3)+可以看出,改变卷积方式可以极大地减少模型的计算量。通常情况下,MobileNetv3采用的卷积核尺寸为33,这意味着改进后的模型计算量只有原始模型计算量的1/9 1/8。除此之外,MobileNetv3还综合了轻量级SqueezeandExcitation注意力机制以及低计算开销的hard-Swish激活函数,进一步降低了网络的计算量。2.2加权双向特征金字塔加权双向特征金字塔是一种网络结构,用于从输人图像中提取特征,并能够输出不同分辨率的特征图。在YOLOv3算法中,传统的特征金字塔网络结构(FPN)被用来实现多尺度目标检测,但是FPN结构本身受到单向信息流的限制,无法区分不同
25、贡献的输人特征。为解决这些问题,本文引入了跨尺度连接和加权特征融合方式,在传统FPN基础上添加了一条自下而上的连接通道,实现了双向特征传递。同时,通过去除一些贡献级别低的连接通道和在贡献级别高的连接处建立额外的横向连接,进一步提高了特征提取的准确性。该结构输出三种不同尺度(Featl、Fe a t 2、Fe a t 3)的特征图,简化版加权双向金字塔(BiFPN-tiny)结构如图3所示。FeatFeat.mYOLO-HeadFeatyFeatdFeatomYOLO-HeadFeatFeatomYOLO-Head3BiFPN-tiny图3车轻量化特征金字塔设计Fig.3Design of li
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 YOLOv3 量化 漂浮 检测 算法