贝叶斯优化的表面缺陷超分辨率检测.pdf
《贝叶斯优化的表面缺陷超分辨率检测.pdf》由会员分享,可在线阅读,更多相关《贝叶斯优化的表面缺陷超分辨率检测.pdf(10页珍藏版)》请在文库网上搜索。
1、贝叶斯优化的表面缺陷超分辨率检测张睿1,2,任文宇1,傅留虎21(太原科技大学计算机科学与技术学院,太原030024)2(山西省机电设计研究院有限公司,太原030009)通信作者:张睿,E-mail:摘要:金属表面缺陷待测样本往往存在分辨率低、缺陷边界模糊、缺陷密集、缺陷目标小的情况,同时,构建的检测模型存在大量的超参数需要手动调参,缺乏模型自适应调参能力,本文提出一种基于贝叶斯优化的表面缺陷超分辨率检测算法.通过设计精细化分层结构,丰富主干网络特征图的感受野,增强对高低频信息的提取,重建出边缘纹理清晰的高分辨率图像;通过构建瓶颈残差密集结构,丰富主干特征提取网络的浅层特征和深层特征,提升模型
2、对小目标和密集目标的分类和定位能力;通过贝叶斯优化算法以较小的时间代价自适应优化检测模型的关键超参数.实验表明,本文对 NEU-DET 数据集中 6 类金属表面缺陷的 mAP0.5可达 0.782,同时检测速度可达 102f/s,优于其他检测算法.关键词:缺陷检测;超分辨率;瓶颈残差密集块;贝叶斯自优化策略引用格式:张睿,任文宇,傅留虎.贝叶斯优化的表面缺陷超分辨率检测.计算机系统应用,2023,32(11):193202.http:/www.c-s- Defect Super-resolution Detection Based on Bayesian OptimizationZHANGRu
3、i1,2,RENWen-Yu1,FULiu-Hu21(CollegeofComputerScienceandTechnology,TaiyuanUniversityofScienceandTechnology,Taiyuan030024,China)2(ShanxiElectromechanicalDesignandResearchInstituteCo.Ltd.,Taiyuan030009,China)Abstract:Thesamplestobetestedformetalsurfacedefectsareoftencharacterizedbylowresolution,fuzzydef
4、ectboundaries,densedefects,andsmalldefecttargets.Atthesametime,theconstructeddetectionmodelhasalargenumberofhyperparametersthatneedtobemanuallyadjustedandlackstheadaptiveparameteradjustmentability.Inthisstudy,asurfacedefectsuper-resolutiondetectionalgorithmbasedonBayesianoptimizationisproposed.Throu
5、ghthedesignoffinelayeredstructure,thereceptivefieldofthebackbonenetworkfeaturemapisenriched;theextractionofhigh-lowfrequencyinformationisenhanced;thehigh-resolutionimagewithclearedgetextureisreconstructed.Byconstructingthebottleneckresidualdensestructure,theshallowanddeepfeaturesofthebackbonefeature
6、extractionnetworkareenriched,andtheclassificationabilityandthelocalizationabilityofthemodelforsmalltargetsanddensetargetsareimproved.ThekeyhyperparametersofthedetectionmodelareoptimizedadaptivelybyaBayesianoptimizationalgorithmwithlowtimecost.ExperimentsshowthatmAP0.5forsixtypesofmetalsurfacedefects
7、intheNEU-DETdatasetcanreach0.782,andthedetectionspeedcanreach102f/s,whichissuperiortootherdetectionalgorithms.Key words:defectdetection;super-resolution;bottleneckresidualdenseblock;Bayesianself-optimizationstrategy计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(11):19320
8、2doi:10.15888/ki.csa.009267http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:山西省基础研究计划(20210302123216);山西省机械产品质量司法鉴定中心企业委托项目(2021168);山西省研究生教育改革研究课题(2021YJJG244);太原科技大学研究生联合培养示范基地项目(JD2022004);太原科技大学研究生教育创新项目(SY2022064)收稿时间:2023-04-07;修改时间:2023-05-11;采用时间:2023-05-15;csa 在线出版时间:2023-08-09CNKI 网络首发
9、时间:2023-08-10SoftwareTechniqueAlgorithm软件技术算法193金属材料在工业制造中应用较为广泛,但金属在加工过程中往往会因各种因素导致金属表面出现裂纹、斑块、麻点面、压痕、刮痕等不同程度和不同种类的缺陷,这些表面缺陷不仅影响金属外观,严重时还会导致金属材料断损,从而发生一些事故,因此金属表面缺陷需要在生产过程中准确地检测出来.随着计算机视觉领域中基于深度学习的目标检测算法快速发展,以其检测精度高、检测速度快等优势为金属表面缺陷的检测批量化、高效率检测提供了新思路新方法.王道累等人1提出一种基于级联孪生密集网络的表面缺陷检测方法,加入空洞空间金字塔池化结构获取不
10、同采样率的特征图捕获多尺度信息,融合浅层特征和高层复杂特征增强分类准确率,解决金属表面缺陷实时检测中存在的缺陷检测精度不高以及难以定位等问题;李维刚等人2对 YOLOv3 模型进行改进,使用加权 K-means 聚类算法优化先验框参数,融合浅层特征与深层特征,提高模型对带钢表面缺陷检测精度;王一等人3在 YOLOv5 原模型加入 SE 注意力模块,减少无用特征干扰,同时用 Ghost 卷积块替换主干网络中常规卷积,提高了对金属工件表面缺陷检测的精度;Wang 等人4在 YOLOv4 模型颈部加入 SAF注意力模块增强路径间和跨层特征融合,使用马赛克增强防止图像过度参与训练;Xie 等人5提出一
11、种基于特征增强 YOLO 的表面缺陷检测算法用于实际工业,为了高效检测,通过结合深度可分离卷积和密集连接降低模型的参数量,为了提高检测精度,提出了一种改进的特征金字塔网络,以增强多尺度检测的空间位置相关性.可以看出,目前对于金属表面缺陷检测的研究取得了一定成就.然而现有研究存在一些问题需要进一步完善:(1)工业生产中采集到的金属表面缺陷图像存在分辨率低的情况,直接使用原始低分辨率缺陷图像进行检测会造成目标难检、误检及漏检问题.(2)现研究的主干网络提取特征尺度较单一,不同尺度浅层特征和深层特征无法均衡,小目标或密集目标的分类或定位能力较差.(3)现阶段的目标检测超参数优化多依靠研究人员的主观经
12、验,需要较强的专业经验,通过大量耗时的“试错”实验进行优化以期达到较好的效果,缺乏模型的自适应性和存在模型泛化性差的问题.综合上述问题,本文提出一种基于贝叶斯快速优化的金属表面缺陷超分辨率检测算法.总结本文贡献有 3 点.(1)为有效降低低分辨率金属表面图像对缺陷检测效率的影响,设计了一种多层融合超分辨率重建模型,将 ESRGAN 和精细化分层结构有效融合,丰富主干特征提取网络特征图的感受野,在实现缺陷图像的超分辨率重建的同时提高重建图像边缘纹理清晰度.(2)为有效提高检测模型对小目标和密集目标的分类和定位能力,设计了一种瓶颈残差密集结构,丰富主干特征提取网络的位置信息和语义信息.(3)针对模
13、型人工调参主观性强、自学习能力薄弱等问题,论文以缺陷检测模型均值平均精度为优化目标,采用贝叶斯优化算法对初始学习率、损失系数、IOU 阈值等 20 个模型超参数进行自适应寻优,提高检测模型自优化能力和模型泛化能力.1相关工作 1.1 超分辨率重建金属表面缺陷数据集分辨率较低,直接使用原始图像进行目标检测会出现目标难检、误检和漏检的情况.随着深度学习和卷积神经网络的快速发展,基于深度学习的超分辨率也得到了积极的探索和研究.相比传统基于插值和基于重构的超分辨率重建方法,基于深度学习的超分辨率可以用深度模型自动提取更有表达能力的图像特征,学习低分辨率图像 ILR和高分辨率图像 IHR之间的映射关系
14、F,如式(1),重建出更加逼真的图像纹理细节6,7.=argmin1NNi=1L(F(ILRi),IHRi)(1)其中,=w1,w2,wp,b1,b2,bp表示 p 个卷积层的权重和偏置,N 表示低分辨率图像 ILR和高分辨率图像 IHR训练样本对数,L 表示最小化重建图像 F(ILR)和高分辨率图像 IHR的损失函数.一些研究者对表面缺陷图像的超分辨率重建方法进行了积极的研究.刘孝保等人8构建一种基于超分辨率特征融合的数据扩增模型解决表面细微缺陷模型构建困难、图像特征不明显和工业应用困难的问题;Cheng 等人9提出一种缺陷感知生成对抗网络框架,通过分割缺陷图像的感知注意力图增强生成高分辨率
15、图像缺陷区域的可见性;Akhyar 等人10用生成对抗网络 ESRGAN 预处理原始钢铁表面缺陷图像,生成具有更丰富的边缘轮廓缺陷图像,提高了对缺陷检测的精度.计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第11期194软件技术算法SoftwareTechniqueAlgorithm 1.2 YOLOv5 检测模型金属工件加工产线生产节奏快、检测精度要求高以及硬件资源有限等因素都对算法的实时性提出了挑战.YOLOv5 自 2020 年 6 月发布 v1.0 以来,到如今最新 v6.2 版本,经过了 9 个版本的更新,受到了较多研究者的关注.YOLOv5 是当前目标检测
16、模型中能够很好地平衡检测速度和准确率的模型之一,其模型参数量只有 7.04M,这为嵌入移动设备实现轻量化提供了良好条件11.YOLOv5 模型结构主要包括:输入端、主干网络、颈部、预测端,其中输入端应用了 Mosaic 数据增强技术、自适应锚框计算以及自适应图片缩放技术;主干网络主要由 CBS 结构、C3 模块提取特征和 SPPF提升模型感受野;颈部由 FPN+PAN 的结构设计进行特征融合;预测端预设了由 K-means 聚类数据集得到9 种不同尺寸的 anchor,3 个为一组,分别预测大、中、小 3 种尺度的目标.2方法 2.1 多层融合超分辨率重建模型多层融合超分辨率重建模型主要由主干
17、网络增强型超分辨率生成对抗网络(enhancedsuper-resolutiongenerativeadversarialnetwork,ESRGAN)12、精细化分层结构两部分组成,结构如图 1 所示.残差密集块(residual-residualdenseblock,RRDB)移除了超分辨率网络经常使用的 BN 层,防止重建图像产生伪影,同时也能缩减网络的计算量.图 1 中 为残差缩放系数,即通过在 01 之间乘以一个常数来改变密集块支路的权重.密集块密集块精细化分层模块+密集块密集块RRDBConvConvConvConvConvConvLReLULReLULReLULReLUConvC
18、onvConvUpsampleRRDBRRDBRRDB图 1多层融合模型图为了进一步提高主干特征提取网络不同尺度感受野的特征表示,本文在主干网络设计了精细化分层支网络,如图 2 所示,精细化分层结构的输入特征图首先均分为 4 个通道的特征图 Xi,然后每个通道经过33 卷积核分别提取来自本通道的特征图和上一层通道的特征图,卷积之后每一层通道得到 4 个输出特征Yi,每层的 Xi和 Yi存在如下关系:Yi=Xi,i=1Xi+Yi1,1 i 4(2)X4XX3X2X1Y4Y3Y2Y1Y33643364334833323316图 2精细化分层模块最后,在通道维度上拼接所有层的输出特征并得到重组特征
19、Output,重组特征使用 11 卷积核固定通道数,使模块输入通道数与输出通道数保持一致.精细化分层模块每一层特征子块 Yi都能够学习来自 Yi1的特征,可从输入特征中获取更多的通道信息,有助于丰富特征图的感受野,增强对特征图高低频信息的提取.2.2 基于多层融合超分辨率重建的 YOLOv5-BRDBYOLOv5 在很多领域中取得了较好的检测结果,但其检测背景复杂的多种尺度小目标和密集目标极易发生漏检或错检的情况.主干特征提取网络 Backbone浅层特征包含丰富的位置信息,有利于目标的定位,而深层特征包含较多的语义信息,有利于目标的分类.为进一步丰富主干特征提取网络的位置信息和语义信息,本文
20、构建了基于瓶颈残差密集块的 YOLOv5(YOLOv5basedonbottleneckresidualdenseblock,YOLOv5-BRDB)检测模型,其结构如图 3 所示,首先原始的低分辨率缺陷图像 LR 经过多层融合超分辨率重建模型处理成高分辨率图像 HR,尺寸大小为 8008003 的 HR 作为2023年第32卷第11期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法195YOLOv5-BRDB 的输入图像.Backbone 的 BRDB 模块通过瓶颈结构(Bottleneck)中的第 1 个 11 卷积核固
21、定输入特征的维度,避免使用普通卷积块使密集连接结构因后面卷积块特征输入增加引起 BRDB 模块计算量爆炸增长的缺点,在 BRDB 模块中的每个 Bottleneck结构的输出特征满足以下关系:Ti=Fi(A),i=1Fi(i1t=1Ft(Tt1),1 i 5(3)其中,Ti表示第 i 个 Bottleneck 模块的输出特征,Fi()表示第 i 个 Bottleneck 卷积的卷积过程,A 表示第 1 个Bottleneck 的输入特征,表示特征使用 concat 拼接.C3C3C3C3C3BottleneckBottleneckBottleneckBottleneckBottleneckBo
22、ttleneckBottleneckInputLR多层融合超分辨率模型HRBottleneckCBSCBSCBSCBSCBSCBSCBSCBSCBSCBSCBS808025540402552020255HeadCBSCBSUpsamp-lingUpsamp-lingBRDBBRDBBRDBSPPFNeckConv BN SiLUCBSCBSMaxPool2DMaxPool2DMaxPool2DSPPF=+AddConcatConcatConcatConcatConcatConcat图 3基于多层融合模超分辨率重建模型的 YOLOv5-BRDB 缺陷检测模型从式(3)中可以发现 BRDB 结构可
23、获得来自不同Bottleneck 的不同尺度、不同深度特征,增强主干网络 Backbone 对浅层位置特征和深层分类特征的提取能力,提升模型对金属表面缺陷中的小目标和密集目标的检测准确率.2.3 贝叶斯算法优化 YOLOv5-BRDB 超参数贝叶斯优化算法1315是一种有效的全局优化算法,广泛应用于机器学习、神经网络架构搜索、元学习等领域.在深度学习领域中,超参数的取值影响着模型的性能,现有模型超参数的优化多依靠开发人员的主观经验,需要专业的调参经验和耗时的“试错”使模型达到较好的效果.一些研究者使用群智能优化算法优化深度模型的超参数,但深度模型评估一次需要较高的时间和计算资源代价,而贝叶斯优
24、化算法能够根据未知目标函数学习先验知识更新评估位置,相比群智能优化算法更高效找到深度模型的最优超参数组合.贝叶斯优化算法利用代理模型拟合计算代价昂贵的真实的目标函数(即 YOLOv5-BRDB),并根据采集函数主动选择最具“潜力”的点作为下一个评估点(即计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第11期196软件技术算法SoftwareTechniqueAlgorithmYOLOv5-BRDB 的超参数),从而避免了不必要的采样,其中贝叶斯优化算法的优化过程用到了贝叶斯定理:p(f|D1:t)=p(D1:t|f)p(f)p(D1:t)(4)其中,f 表示目标函数;
25、D1:t=(x1,y1),(x2,y2),(x3,y3)表示已观测集合;xt表示决策向量,yt=f(xt)+t表示观测值,t表示观测误差;p(D1:t|f)表示 y 的似然分布;p(f)表示先验概率分布,即对评估代价较大的目标函数状态的假设;p(D1:t)表示边缘似然分布;p(f|D1:t)表示f 的后验概率分布,描述已观测值对先验分布修正后目标函数的置信度.代理模型和采集函数是贝叶斯优化算法的两个核心组成部分,概率代理模型包含先验概率模型和观测模型,两者分别可视为式(4)中的 p(f)和 p(D1:t|f).更新概率代理模型表示后验分布 p(f|D1:t)得到了更多的目标函数的分布信息.采集
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 贝叶斯 优化 表面 缺陷 分辨率 检测