工器图像分割与识别技术研究.pdf

1、现代电子技术Modern Electronics Technique2023年12月1日第46卷第23期Dec.2023Vol.46 No.230 引 言在水电站机组检修维护期间，发电机风洞内需进出大量工作人员，且携带大量的工器具和检修物资，检修工作过程中因金属物品遗落易造成发电机短路、机组扫膛、机组跳机等不安全事件的发生，故检修作业现场需对进出发电机风洞人员及随身携带物品进行严格登记和销账，由于传统的登记与核销方式效率较低，往往需要耗费大量的时间和人力，且难以保证精确性与实时性12。随着科技的快速发展，图像分割与识别技术已经在各个领域得到了广泛应用，很多学者都曾对其进行了深入的研究，也取得了

2、一些实用性成果38。文献9通过对分水岭基本算法的研究，改进了传统的分水岭算法，减少了图像分割受噪声的影响；文献10针对复杂环境下图像难以分割定位的问题，提出一种基于改进深度学习网络的方法解决难点；文献11基于融合领域特征向量与词向量的方法使识别的向量稀疏特征利用率更高。但上述研究对象却各有不同且对采样数据和硬件算力有苛刻的要求，至于工具方面，目前还没有一种普遍使工器图像分割与识别技术研究方 恒1，张 强1，黄冬梅2，敬光荣2（1.雅砻江流域水电开发有限公司，四川 成都 610000；2.成都万江港利科技股份有限公司，四川 成都 610000）摘 要：针对水电站发电机风洞检修场景下进出风洞登记与

3、核销工具效率低的问题，提出一种基于机器视觉的工具图像分割与识别算法。该算法首先用ToolNet网络对工具图像进行分割，采用基于八度卷积的ToolRSU模块将特征按频率分解，降低模型的空间冗余和计算成本，并且引入了双重注意力模块提升模型的分割精度；然后根据工具分割图像的轮廓对工具目标进行定位，将检测到的工具目标图像输入到预训练好的特征提取器中，将工具信息转换表征为一个512维的特征向量；最后将特征信息与工具特征库进行对比完成工具的识别。实验结果表明，工具图像分割的效率相比U2Net提升了54.47%，并且工具识别算法的识别准确率达到96.78%，检测时间为0.86 s，满足工具实时检测的速度与精

4、度需求，具有较好的应用价值。关键词：检修工具；机器视觉；八度卷积；注意力；图像分割；特征提取器；神经网络；图像识别中图分类号：TN91134；TP311 文献标识码：A 文章编号：1004373X（2023）23006605Research on tool image segmentation and recognition technologyFANG Heng1,ZHANG Qiang1,HUANG Dongmei2,JING Guangrong2(1.Yalong River Hydropower Development Co.,Ltd.,Chengdu 610000,China;2.C

5、hengdu Wanjiang Gangli Technology Co.,Ltd.,Chengdu 610000,China)Abstract：A tool image segmentation and recognition algorithm based on machine vision is proposed to address the low efficiency issue of registration and verification of maintenance tools in the scenario of wind tunnel maintenance of hyd

6、ropower station generators.In the algorithm,the ToolNet network is utilized for tool image segmentation.The ToolRSU module based on octave convolution is employed to decompose features by frequency,so as to reduce spatial redundancy and computational costs.Additionally,a dualattention module is intr

7、oduced to enhance the segmentation accuracy of the model.Subsequently,the tool(the object)are localized based on the contours of the segmented tool images.The detected tool images are then inputted into a pre trained feature extractor,which transforms tool information into a 512 dimensional feature

8、vector.Finally,the feature information is contrasted with the tool feature database to recognize the tool.Experimental results demonstrate that the efficiency of tool image segmentation is improved by 54.47%in comparison with that of U2Net,the tool recognition algorithm achieves a recognition accura

9、cy of 96.78%,and its detection time is 0.86 s,which meets the speed and accuracy requirements of realtime detection of tools.The algorithm exhibits considerable practical value.Keywords：maintenance tool;machine vision;octave convolution;attention;image segmentation;feature extractor;neural network;i

10、mage recognitionDOI：10.16652/j.issn.1004373x.2023.23.012引用格式：方恒，张强，黄冬梅，等.工器图像分割与识别技术研究J.现代电子技术，2023，46（23）：6670.收稿日期：20230603 修回日期：202306216666第23期用的方法能够有效解决。本文设计了一种多尺度特征提取卷积模块，卷积过程中将图像分解为低频与高频分量，再采用双重注意力机制处理特征图的高低频分量，并对高频分量和低频分量进行信息交互，通过邻域内像素间的信息交换可以降低低频特征图的空间分辨率和冗余，同时对不同通道间的信息相关性进行建模，保证了工具分割算法的性能，

11、最后通过特征表征的方式完成工具识别任务。该算法针对工具类图像在现场环境使用具有低功耗、易扩展等优点，具有实际应用价值。1 研究方法1.1 工具图像分割算法1.1.1 ToolNet模型结构文献12提出一种深度学习模型UNet语义分割网络模型，它不同于传统的深度卷积神经网络模型采用不断深化卷积结构的方法。UNet网络模型由编码、解码和特征融合三部分组成。在编码过程中，采用多层下采样提取更全面的特征；在解码过程中，采用多层上采样还原特征结果；在特征融合阶段，在全连接编解码过程中生成特征结果和显著概率图。文献13在UNet网络的基础上提出了一个两级嵌套 U 结构模型 U2Net，该网络模型继承了 U

12、Net网络模型的编解码思想，但不再为每个样本使用单个卷积层或反卷积层，而是嵌入完整的 U结构残差块（Residual Ublocks）来替换单个卷积操作，如图 1所示。U结构残差块解决了过去由于使用小卷积核而导致感受野过窄，只能提取局部细节的缺陷。同时，减少了因使用空洞卷积而导致的过度计算问题。U2Net网络模型可以通过设计简单的框架逐层提取多尺度特征，从而提高识别效率。针对工具分割任务提出的ToolNet网络模型如图 2所示。ToolNet由三部分组成：6 层编码层、5 层解码层和全连接层。每层包含一个U形残差块，用于提取多尺度特征。每次训练样本通过一个编码层时，采样的训练样本向下传递，该层

13、的训练结果传递给同级的解码层，计算损失函数。在图像特征提取阶段，使用改进的ToolRSU 模块来提取特征。遍历所有编码层和解码层后，将获得 6个提取结果，这些结果将恢复为与训练样本相同的大小。最后，将所有特征结果聚合到全连接层，将每个解码端的预测结果上采样到原始图像大小，并利用混合注意力机制，通过级联运算得到预测结果。通过不断迭代来减小损失函数的值，提高了模型的识别效果。图1 U结构残差块（RSU）图2 ToolNet模型结构图方 恒，等：工器图像分割与识别技术研究67现代电子技术2023年第46卷1.1.2 ToolRSU模块与一般卷积不同，八度卷积（Octave Convolution）认

14、为卷积层的输入输出特征图或通道具有高频和低频分量。低频分量用于支撑物体的整体形状，但它们往往是多余的，这在编码过程中可以得到缓解。高频分量用于恢复原始图像的边缘和细节纹理。ToolNet设计了一种新的ToolRSU模块，用八度卷积替换 RSU 中的普通卷积，以更好地抵用局部和全局上下文信息来提高分割效果。在八度卷积中，低频分量是指经过高斯滤波处理后得到的特征图，高频分量是指未经高斯滤波的原始特征图。由于低频分量的冗余，低频分量的特征图大小设置为高频分量特征图大小的1 2。将卷积层中的输入特征图X和卷积核W分为高频和低频分量，如下所示：X=XL,XHY=WL,WH（1）式中：XL和XH分别表示特

15、征图的低频和高频分量；WL和WH分别表示用于低频分量和高频分量的卷积核。八度卷积在提取低频和高频特征的同时，在低频和高频分量的特征表示之间进行有效通信，如图3所示。图3 八度卷积以高频和低频进行特征提取由于高频和低频特征图的大小不一致，无法执行卷积操作。因此，为了实现高频和低频特征之间的有效通信，当信息从低频更新到高频（过程WL H）时，需要对低频分量进行上采样，见公式（2）：YH=f()XH;WH H+Upsampling()f()XL;WL H,k（2）式 中：f()X;W表 示 具 有 卷 积 核W参 数 的 卷 积；Upsampling()f(),k表示上采样，使用步幅k=2的最近邻插

16、值计算。当信息从高频更新到低频（过程WH L）时，需使用平均池化对高频分量进行下采样，见公式（3）：YL=f()XL;WL L+f()pool()XH,k;WH L（3）式中pool()X,k代表实现降采样的平均池化运算，步幅k=2。1.1.3 双重注意力模块由八度卷积提取后得到的特征图具有高频和低频分量，在实验中通过双重自注意力模块对高频和低频特征图进行特征信息融合，如图4所示。利用空间注意力机制来增强特征图中的重要信息，高频和低频分量同时以双频方式进行处理。低频特征XLQi从编码阶段的某一层上采样到与高频分量相同的尺度XHQi，用于通道拼接，然后特征图通过11的卷积运算得到空间注意力权重图

17、。对于特征图的高频分量，生成的注意力权重图首先通过 sigmoid 函数进行归一化，然后直接与高频分量的特征图相乘，得到高频特征图XHQi，见公式（4）：XHQi=()Conv1 1()XHQi;XLQi XHQi（4）式中：()表示 sigmoid 函数；Conv1 1()表示通道拼接融合后的 11 卷积；表示生成的空间注意力图与每个高频特征图相应点作相乘运算；XHQi和XLQi分别表示第i层高频和低频分量特征图。对于特征图的低频分量，首先将生成的注意力权重图下采样到与低频分量相同的尺度，然后使用 sigmoid函数对其进行归一化，最后与低频分量相乘得到低频特征图XLQi，见公式（5）：XL

18、Qi=()Sub()Conv1 1()XHQi;XLQi XHQi（5）式中Sub()表示缩减采样函数。通过采用上述双重注意结构，实现了低频和高频特征之间的有效通信。同时，编码阶段某一层的高低频特征图经过特征增强后转移到解码阶段的相应层进行特征融合。图4 八度卷积以高频和低频进行特征信息融合68第23期1.2 工具图像识别算法工具识别算法的具体步骤如下：1）工具检测。对工具分割图像进行轮廓检测，判断是否存在工具目标，若成功检测到工具，输出相应最小外接矩形框的位置坐标。2）工具表征。将检测的工具目标输入到特征提取网络，将工具信息转换为一个512维的特征向量。特征提取网络使用轻量化模型Effici

19、entNetV2s，网络结构14见表1。表1 EfficientNetV2s网络结构Stage01234567OperatorConv33FusedMBConv1FusedMBConv4FusedMBConv4MBConv4MBConv6MBConv6Conv11&Pooling&FCStride2122212Channels24244864128160256512Layers124469151EfficientNetV2 网络采用感知神经结构搜索技术，结合复合模型扩张法优化模型精度、训练速度和参数大小。通过使用 MBConv和 FusedMBConv模块实现了更快的训练。3）工具匹配。将特征

20、信息进行对比，通过特征向量进行工具识别。根据预测的特征向量和特征库中每种类别工具的特征向量依次计算平均余弦相似度Sim。若平均余弦相似度Sim 0,0.7)，则工具特征库中没有匹配待检测工具的类别，如要识别该类工具需扩充特征库，增添此类工具的特征；若平均余弦相似度Sim 0.7,1，则取最大值所对应的工具类别与待检测工具匹配。2 实验结果分析2.1 实验数据集由于目前没有公开的工具检修图像数据集，实验基于常见的工具类别进行选取，搭建由黑色背景板、400 万像素高清摄像头组成的数据采集和检测实验平台。通过图像采集和数据增强，获取了10类共5 645张检修工具图像。工具类别清单见表2。2.2 实验

21、环境为了科学评估实验的有效性，实验所有的软硬件环境保持一致，实验环境配置见表3。2.3 实验分析2.3.1 工具图像分割结果分析为了验证模型的有效性，使用几种常见的语义分割模型ResUNet+、U2Net与提出的针对检修工具的分割模型ToolNet作比较，测试结果见表4。表2 工具类别清单编号12345678910类别名称剥线钳尖嘴钳卷尺螺丝刀胶带叉子扳手万用表斜口钳六角扳手活动扳手表3 实验环境参数模块处理器GPU内存操作系统Python版本Pytorch版本参数Intel Core i57500 CPU，主频为3.4 GHzNVIDIA GeForce GTX1080Ti12 GB16 G

22、BUbuntu 18.043.71.12.0表4 不同模型分割效果对比方法ResUNet+U2NetToolNet交并比0.750.800.83召回率0.780.850.86查准率0.730.810.85平均时间/s1.871.230.56从表 4中可看出，提出的 ToolNet分割模型相比 U2Net在交并比和查准率上都得到了提升，并且分割的平均时间从1.23 s降低到0.56 s，分割效率提升了54.47%。ToolNet通过采用 ToolRSU 模块减少了空间冗余和计算量，从而减少了分割处理的时间，通过引入双重注意力模块增强高频和低频分量的特性，进行特征增强提升分割精度。工具图像分割结果

23、见图5。图5 工具分割图像方 恒，等：工器图像分割与识别技术研究69现代电子技术2023年第46卷2.3.2 工具图像识别结果分析实验中图像工具识别通过特征提取器将待识别图像表征为512维特征向量，然后与特征库中每个类别工具的特征向量进行相似度比对。该特征库由 1 000 个特征向量组成，其中包含 10 个类别工具，每个类别有100个特征向量。工具识别结果见表5。表5 工具识别结果正检率/%96.78召回率/%98.85F1/%97.81总耗时/s0.86工具识别的正检率达到 96.78%，每张待检测工具图像的平均检测时间为 0.86 s，精度高满足实时检测的需求。工具识别结果见图6。图6 工

24、具识别结果图像识别的精度取决于特征提取器的效果，实验中将图像分类网络的 softmax 分类层删除，利用全连接层作为特征提取器。相比于直接进行图像分类，采用特征向量识别的方法更有利于工具类别的拓展，在需要新增加一种工具类别时，可以直接利用特征提取器对特征库进行扩充，从而不需要重新训练分类模型，对小数据集样本更具鲁棒性。3 结 论本文针对水电站检修场景下登记与核销检修工具效率低的问题，采用图像处理和识别、深度学习等理论和技术，设计一种基于机器视觉的检修工具图像检测与识别算法。将图像分割和特征匹配相结合，可以实现高效准确的工器具识别，并且可以很便携地扩充可识别的工具类别，对于提高管理效率和检修现场

25、安全性具有重要的应用价值。参考文献1 宋训利，朱保，王新.浅析水轮发电机风洞智能感知巡检系统J.水电站机电技术，2021，44（1）：8689.2 MELANI A H A,MICHALSKI M A C,MURAD C A,et al.Generalized stochastic Petri nets for planning and optimizing maintenance logistics of small hydroelectric power plants J.Energies,2022,15(8):2742.3 陈肯.基于深度学习的铁路工具图像分类及检测方法研究D.长沙：湖南

26、大学，2021.4 王呈，黄义超，杨桂锋.基于空间特征融合的车间作业工具检测算法J.电子测量与仪器学报，2023，37（3）：3949.5 PAPP D,ELEK R,HAIDEGGER T.Surgical tool segmentation on the JIGSAWS dataset for autonomous imagebased skill assessment C/2022 IEEE 10th Jubilee International Conference on Computational Cybernetics and Cybermedical Systems(ICCC).N

27、ew York:IEEE,2022:4956.6 GUANLIN D.Research on semantic segmentation algorithm based on deep learning control tools C/2020 International Conference on Computer Communication and Network Security(CCNS).New York:IEEE,2020:3538.7 KANAKATTE A,RAMASWAMY A,GUBBI J,et al.Surgical tool segmentation and loca

28、lization using spatio temporal deep network C/2020 42nd Annual International Conference of the IEEE Engineering in Medicine&Biology Society(EMBC).New York:IEEE,2020:16581661.8 陈贤儿，梁丹，傅云龙，等.Harris与SURF特征点检测的手术器械机器视觉识别方法J.传感器与微系统，2023，42（2）：118121.9 范群贞，吴浩，林真.改进的分水岭算法在医学图像分割中的应用J.软件，2019，40（4）：8183.10

29、 李建伟，吕娜，郭宏，等.改进HED网络的金属零件二维条码分割方法J.计算机工程与设计，2023，44（3）：859865.11 雷树杰，邢富坤，王闻慧.融合领域特征向量的武器装备名深度学习识别方法J.计算机应用与软件，2019，36（10）：183189.12 RONNEBERGER O,FISCHER P,BROX T.Unet:Convolutional networks for biomedical image segmentation C/International Conference on Medical Image Computing and Computer assisted

30、 Intervention.Heidelberg,Germany:Springer,2015:234241.13 QIN X,ZHANG Z,HUANG C,et al.U2Net:Going deeper with nested Ustructure for salient object detection J.Pattern recognition,2020,106:107404.14 TAN M,LE Q.EfficientNetV2:Smaller models and faster training C/Proceedings of the 38th International Conference on Machine Learning.New York:PMLR,2021:1009610106.作者简介：方 恒（1993），男，湖北武汉人，工程师，研究方向为测控技术与图像处理。张 强（1987），男，四川德阳人，硕士，高级工程师，研究方向为自动化与图像处理。黄冬梅（1995），女，四川南充人，工程师，研究方向为水利水电信息化。敬光荣（1995），男，四川绵阳人，高级工程师，研究方向为水利水电信息化。70