《基于机器视觉的水表分拣系统研究_严冰.pdf》由会员分享,可在线阅读,更多相关《基于机器视觉的水表分拣系统研究_严冰.pdf(5页珍藏版)》请在文库网上搜索。
1、电气与自动化严冰,等基于机器视觉的水表分拣系统研究第一作者简介:严冰(1996),男,福建莆田人,硕士研究生,研究方向为机器视觉。DOI:1019344/j cnki issn16715276202301046基于机器视觉的水表分拣系统研究严冰,唐旭晟,朱博文(福州大学 机械工程及自动化学院 福建 福州 350116)摘要:针对现阶段水表生产分拣主要依靠人工、自动化程度不高、效率低下等问题,对水表定位、机械手自动抓取等问题进行研究,设计了一套基于机器视觉的水表分拣系统。通过颜色特征粗定位水表区域,基于归一化内积相似性精定位水表,得到水表位姿;构建 EyetoHand 手眼标定模型并求解,将水表
2、位姿转换到机械手坐标系,实现机械手对水表的精确抓取。研究结果表明:该系统的定位误差在 15 mm 以内,机械手能准确抓取水表,极大地提高水表上下料效率,基本避免了人工失误。关键词:水表定位;手眼标定;机器视觉;工业机械手中图分类号:TP3914;TP2412文献标志码:B文章编号:1671-5276(2023)01-0184-05esearch on Water Meter Sorting System Based on Machine VisionYAN Bing,TANG Xusheng,ZHU Bowen(College of Mechanical Engineering and Aut
3、omation,Fuzhou University,Fuzhou 350116,China)Abstract:In relation to problems like manual sorting,low automation,and low efficiency etc in present water meter production,water meter positioning and automatic grabbing by manipulators are studied,and a set of automatic water meter sorting systembased
4、 on machine vision is designed With the water meter area being roughly located by color features,the water meter is preciselypositioned based on the normalized inner product similarity to obtain the water meter pose The EyetoHand calibration model isconstructed and solved to convert the water meter
5、pose to the robot coordinate system,with which the the water meter is accuratelycaptured by manipulator The research results show that the positioning error of the designed system is within 15 mm,and themanipulator can accurately grasp the water meter,which greatly improves the efficiency of water m
6、eter loading and unloading bybasically avoiding the occurrence of manual errorsKeywords:water meter positioning;handeye calibration;machine vision;industrial manipulator0引言水表分拣是水表生产中的一个重要环节,其效率和准确性将直接影响水表生产的整体效率和质量。现阶段水表生产线的分拣依靠的是人工操作,通过人眼定位和手动抓取水表完成分拣,受分拣人员的身体状况影响极大,不仅分拣速度低,而且出现失误的概率大。因此采用人工分拣水表满足不
7、了实际生产的高效需求,而且人工干预生产也是工业发展的一大阻碍。为了满足水表分拣的高效要求,本文阐述如何通过机器视觉引导工业机器人分拣取代人工操作。赵彬1 对静态工件和动态工件的分拣问题分别进行了研究,利用OpenCV 视觉算法库对静态工件识别,MeanShit 算法搜索动态工件,并利用 C+建立图像处理算法库。袁仁辉2 首先利用基于 OpenCV 和基于 HALCON 的两种单目相机标定方法求出相机内外参数,然后根据双目视觉系统的相机结构模型,给出双目系统的标定方法和系统实现,最后进行全局手眼标定,利用双目视觉引导机械手抓取工件。GAO Y 等3 把 CNN 和 LSTM 相结合来处理时序特性
8、的力觉信息,利用 CNN 处理视觉信息,通过融合视觉和力觉多模态信息进行物体材质的分类,可解决机器人在复杂环境下的目标定位问题。这些研究结果都存在结构复杂、稳定性和鲁棒性不足等缺点。为了解决这些问题,本文将设计一套基于机器视觉技术定位水表并引导工业机器人抓取的水表分拣系统。1视觉分拣系统平台搭建本研究设计的 EyetoHand 水表分拣系统,其硬件部分主要由工业相机及镜头、上位机、工业机器人及其控制柜、水表、传送带等组成。此外,还设计了吸盘式的机器人手用于抓取水表,如图 1 所示。1)工业机器人。本平台所选用的机器人为 ABBIB1200 型 6 自由度工业机器人,该机器人自质量为54kg,末
9、端最大负重可达 7kg,该机器人有 6 个旋转关节,6 个自由度,运动灵活,精度较高,可以达到 002 mm。从理论上来说该机器人末端可以到达工作范围的任意位置(除了机器人基座坐标系原点)。2)图像采集系统。水表分拣环境复杂,各种因素都481电气与自动化严冰,等基于机器视觉的水表分拣系统研究可能会影响获取到的图像质量。本研究选用的是某公司的 IMC751G 彩色相机和 16mm 定焦镜头作为图像采集装置,并选用碗光源。3)末端结构设计。由于水表表盘是镜面结构,吸附性能好,因此采用最简单有效的吸盘式手抓结构。这里选择直径为 50mm 的吸盘,理论最大吸附力可达 15kg,完全能够满足水表抓取工作
10、,此外还设计了吸盘和机器人末端的连接件。图 1水表分拣台2分拣系统算法针对水表的定位,本研究通过水表的颜色特征粗定位水表区域,再以模板匹配精定位水表位姿,之后标定相机内参,通过手眼标定将水表位姿转换到机器人坐标系,引导机械手精确抓取水表。算法流程图如图 2 所示。图 2算法流程图21水表粗定位由于水表出水口和入水口都是蓝色,因此本文利用颜色特征实现水表的粗定位,以此来提高定位速度。蓝色分量在 Lab 颜色空间中集中于 B 通道,比起其他颜色空间,蓝色水表更易于分割。将滤波后的图像从 GB 颜色空间转 Lab 颜色空间,如图 3(a)所示。为了使蓝色前景部分与背景区别更加明显,便于后续分割,按式
11、(1)将 B 通道的图像归一化到 0255。归一化后图像如图 3(b)所示。B(x,y)=B(x,y)B(x,y)minB(x,y)maxB(x,y)min255(1)式中:B(x,y)表示图像未归一化时位于(x,y)处图像像素值;B(x,y)max表示图像中像素点的最大像素值;B(x,y)min表示图像中像素点的最小像素值。图 3识别图像颜色特征由图 3(a)可知,水表前景与背景具有明显的区别,且背景灰度分布较为均匀,并未出现较大幅度的变化,因此采用由全局阈值分割算法 大津算法4 推广得到的双阈值大津算法。由于水表前景部分的水表表盘和水表通水口存在明显的灰度差,因此前景部分分为水表表盘和通水
12、口两部分,再加上背景部分,整个图像可分割为三部分5。阈值T1、T2将图像分割为C0、C1、C2三部分。C0像素范围为 0,T1,C1像素范围为T1+1,T2,C2像素范围为 T2+1,255,则该双阈值选取公式如式(2)所示。T1,T2=Argmaxk=0,1,2uk(T1,T2)(uk(T1,T2)u)2(2)式中:uk为各部分均值;u 为图像整体均值;T1、T2为所选双阈值。由 B 通道图像灰度直方图(图 4)可知,波峰部分对应背景,波峰左侧对应水表通水口部分,右侧对应水表圆形表盘。由于水表圆形表盘是分布在水表通水口中间,因此只需分割出水表通水口部分即波峰左侧即可。其分割方式按照式(3)实
13、现,其中T1=100107,分割结果如图 5(a)所示。f(x,y)=255,0f(x,y)T10,其他(3)图 4B 通道图像灰度直方图581电气与自动化严冰,等基于机器视觉的水表分拣系统研究采用形态学开运算消除干扰的小区域,开运算公式见式(4),开运算结果如图 5(b)所示。Z=(AB)B(4)式中:Z 为处理后的图像;A 为待处理图像;B 为形态学结构元素;表示腐蚀操作,表示膨胀操作。图 5B 通道图像二值化及开运算在求取其前景区域的外接矩形时,将图5(b)中的前景点坐标分别按行和列存储,并计算其最小行坐标、最小列坐标以及最大行坐标、最大列坐标,之后再将外接矩形的宽扩大15 倍,高扩大2
14、5 倍,最终提取的外接矩形如图6 所示。图 6扩大后外接矩形22水表精定位确定水表在图像中的大致位置后,采用基于归一化梯度内积相似性模板匹配算法6 确定水表的准确位置。以边缘梯度为相似性判断准则,不仅能通过设置相似度阈值来加速其判断过程,同时对光照变化也具有鲁棒性。首先构建图像金字塔模板,图像金字塔是图像多尺度表达的一种方式,它由原始图像经过一定采样间隔而得到的不同分辨率图像所形成的类似于金字塔结构,图像的分辨率由下到上逐级递减。为了避免因违反奈奎斯特采样定理而使图像出现混叠现象,图像必须进行低通滤波,例如高斯滤波。求取图像金字塔公式为Gl+1(i,j)=mnw(m,n)Gl(2i+m,2j+
15、n)(5)式中:w(m,n)为高斯模板;Gl为第 l 层分辨率。本文所创建的模板图像金字塔如图 7 所示,设置层数为 3。图 7图像金字塔示意图本文采用 Canny 算子对图像进行边缘提取,以此来获取图像的边缘特征点,并通过 sobel 算子进行轮廓点梯度提取,以快速实现梯度计算。sobel 算子如式(6)和式(7)所示。G(x)=101202101(6)G(y)=121000121(7)将当前轮廓点的坐标转换为相对于轮廓中心点的相对坐标,其计算公式如式(8)所示。xr、yr为轮廓中心点坐标,xi、yi为相对于轮廓中心点的相对轮廓点坐标,n 为点的总数。xr=1n+1ni=0 xiyr=1n+
16、1ni=0yiXi=xixrYi=yiyr(8)将轮廓点的相对坐标和其对应的梯度值存储到数组中并重复上述步骤直到完成所有层数的创建。由于待匹配图像上的模板位置是不确定的,因此在进行匹配的时候,需要将模板经过刚性变换,例如旋转。设模型由一系列点Pi(xi,yi)T组成的点集,并且每个点的梯度方向向量为di=(ti,ui)T,(i=1,2,n)。待匹配图像点的方向向量为ex,y=(vx,y,wx,y),梯度方向向量可通过sobel 算子获得,则变换过的点坐标和梯度方向向量为p=Ap,d=Ad,其变换矩阵为A=a11a12a21a22(9)经过变换后的模型点与待匹配图像点的梯度内积相似性计算公式如式
17、(10)所示。s=1nni=1 di,ex,ydi ex,y(10)在进行相似度计算时,为了加快查找速度,在此设置一个相似度阈值,若当前点的得分小于设置阈值,即停止当前位置的计算,这样就能避免后续点的无效计算。其阈值计算公式如式(11)所示。sth=min(smin1+f j/n,sminj/n)f=(1gsmin)/(1smin)(11)式中:smin为人为设定的最小相似度分数;g 为控制匹配速度的因子;g、smin的取值范围为 0,1;j 为已经参与计算点的个数;sth为匹配分数阈值因子;n 为模板轮廓点数。对待匹配图像构建与模板图像相同层数的图像金字塔,并逐层匹配模板,最终匹配结果如图
18、8 所示。图 8轮廓匹配局部放大图681电气与自动化严冰,等基于机器视觉的水表分拣系统研究23手眼标定本研究采用张正友标定法7,不仅实现简单且鲁棒性较强。本文所采用的标定板大小为 88,角点之间实际长度 14mm14mm,采集了 10 张现场图片作为标定图集,如图 9 所示。利用 opencv 函数库编写标定代码对标定结果求解,其误差如表 1 所示。图 9标定图像表 1标定误差表单位:像素误差项数值第 1 幅图像的平均误差0061 719 5第 2 幅图像的平均误差0062 887 1第 3 幅图像的平均误差0062 683 1第 4 幅图像的平均误差0068 979 3第 5 幅图像的平均误
19、差0066 382 9第 6 幅图像的平均误差0064 171 9第 7 幅图像的平均误差0075 269 4第 8 幅图像的平均误差0073 389 8第 9 幅图像的平均误差0058 722 5第 10 幅图像的平均误差0060 418 4重投影误差0459 694 0总体平均误差0065 462 4由表 1 可知,各图像的平均标定误差均不超过 01 个像素,且总体平均误差也小于 01 个像素,因此标定误差满足本研究要求。构建 EyetoHand 手眼标定模型以求取相机坐标系和机器人基座坐标系的关系,得到 EyetoHand 模型下的AX=XB 等式。本研究采取改进的矩阵直积法8 进行求解
20、 AX=XB,得到转换矩阵 X 如下:X=0962 20072 30033 000085 80944 60025 100010 60044 80959 304579122754490541(12)3实验结果及分析本文采用 QT 作为图形界面开发框架,结合 mysql 开源数据库实现水表分拣软件系统的开发。水表分拣操作界面(图 10)主要包含服务器连接模块,该部分主要用于和机械手进行通信设置;运动参数模块主要是对机械手的运动参数进行设置;运动控制模块是对机械手的运动轨迹进行设置;关节显示模块主要是为了更好地实时监测关节值的变化。图 10分拣系统操作界面为了评估手眼标定的误差大小,采用如下误差评判
21、准则:=(xix0)2+(yiy0)2+(ziz0)2(13)式中:xi、yi、zi是测试坐标点通过手眼标定转换到机器人坐标系下的坐标点;x0、y0、z0是测试的目标点在机器人坐标系下的实际坐标点;为两者的误差,即水表的实际位置与机械手的夹取位置之间的误差;由于高度固定,因此只记录了 x、y 的数值。通过该误差评判标准,可以直观地比较通过手眼标定计算得到的理论水表位置与实际位置的误差,具有极高的可信度。从 100 组水表分拣测试结果中取 10 组如表 2 所示。表 2实验坐标对比表单位:mm编号xiyix0y0误差 159649459635595808596130686252447910136
22、5239151095609943556510491345569304989408684575993336525751243343208955535384100618536426100906100296653307182736537271885507189762231082406229897558096198694117359666932863564308919961519556716159145966077610067280938256673117371941106实验结果表明:由表 2 可得到平均误差为 0874mm,最大误差为 1106mm。可满足所设计的 1 5mm 精度要求。4结语本文
23、介绍了基于机器视觉引导的机械手分拣水表的设计。为了确定水表在图像中的坐标,先利用颜色特征对水表进行粗定位,在粗定位的基础上利用基于归一化梯度内积相似性的模板匹配算法进行精确定位。该方法简单易行,具有较好的定位结果。为了将水表的图像坐标转换781电气与自动化严冰,等基于机器视觉的水表分拣系统研究到机器人坐标系,本文构建 EyetoHand 标定模型,并且利用改进的矩阵直积法进行求解,得到相机坐标系与机器人基座坐标系转换关系矩阵 X 且对产生的误差进行量化分析。进 行 100 次 的 随 机 抓 取 实 验,平 均 误 差 为0874 mm,最大误差为 1106mm,达到 15mm 的设计精度要求
24、。参考文献:1赵彬 基于机器视觉的工业机器人分拣技术研究D 沈阳:沈阳工业大学,2013 2袁仁辉 基于机械手的双目视觉定位抓取研究D 秦皇岛:燕山大学,2016 3 GAO Y,HENDICKS L A,KUCHENBECKE K J,et al Deeplearning for tactile understanding from visual and haptic data C/2016 IEEE International Conference on obotics and AutomationStockholm,Sweden:IEEE,2016:536-5434 WANG H Z,D
25、ONG Y An improved image segmentationalgorithm based on Otsu methodC/SPIE Proceedings,InternationalSymposiumonPhotoelectronicDetectionandImaging 2007:elated Technologies and Applications Beijing,China:SPIE,2007 5孙浩楠,王勇,胡志平,等 基于矩形拟合的 IC 芯片块定位算法 J 机械制造与自动化,2020,49(6):201-202,2096 STEGE C Similarity mea
26、sures for occlusion,clutter,andilluminationinvariantobjectrecognition C/Patternecognition,S I:s n,2001 7ZHANG Z A flexible new technique for camera calibrationJIEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334 8胡为,刘冲,傅莉,等 一种高精度的机器人手眼标定算法 J 火力与指挥控制,2018,43(9):19-24收
27、稿日期:20210913(上接第 183 页)于是得X0(s)=G(s)U(s)=2752ns(s2+2ns+2n)将=1 代入,系统在 u(t)=275 信号的作用下的输出的拉氏变换可展开成部分分式:X0(s)=2752ns(s2+2ns+2n)=2752ns(s+n)2=2751s1s+nn(s+n)2将上式再进行拉氏反变换,得出二阶系统在临界阻尼状态下的 u(t)=275 响应为x0(t)=275 1ent(1+nt)(t0)再将 n=2 代入可得质量块的位移x0(t)=275 1e2t(1+2t)(t0)可以看出质量块的位移随着时间的增长会逐渐收敛。以上是动态响应结合几何结构参数所设计
28、出的小型电控越野机器人悬挂装置系统,其悬挂装置采用克里斯蒂悬挂的机械结构。由车体上身载重质量 m=35kg,可得出所需的弹簧刚度系数 K=2nm=14Nm,相应的黏性阻尼系数 B=2Km=14N/(m/s),即系统参数均已确定。要使质量块(车体)的位移 x0(t)快速到达稳态,则需要根据m、和 n来取定 K、B 的系数大小,再结合几何结构的设计,便可设计出较优的小型电控越野机器人悬挂装置系统。综合上述理论模型,在几何结构与外界输入确定后,对于悬挂弹簧处的参数选定,得到所需的弹簧刚度系数K=14Nm,黏性阻尼系数 B=14N/(m/s),再根据这两个参数去选型调试,达到了根据几何结构与外界输入为
29、约束条件来进行相应的悬挂弹簧系统装置的取定。图 7 是小型电控越野机器人实物样机。3结语本文在小型电控越野机器人悬挂系统设计中得出了较为合理的方案,并进行了相关变量的分析,通过力学模型与非线性规划来求解几何结构参数的最优解,再结合动态响应仿真来求解悬挂系统的特性参数,选取临界阻尼进行参数调定,得到悬挂所需的弹簧刚度系数和黏性阻尼系数,实现了悬挂系统特性参数的优化选取。图 7小型电控越野机器人实物展示(已拆除传感器及电路板)参考文献:1张钧 基于麦克纳姆轮的智能机器人室内定位算法设计J科技创新与应用,2020(5):93-94 2吴宗文,谭兵 军用履带车辆转向机构发展综述J 机械工程师,2007(5):16-18 3曹策俊,李从东 基于数学规划的应急组织指派优化问题综述 J 系统仿真学报,2021,33(1):1-12 4王迪,李璐明,程海涛,等 基于 MATLAB/Simulink 的电动汽车驱动电机能量回收控制策略研究C 第十七届河南省汽车工程科技学术研讨会论文集,郑州:河南省汽车工程学会,2020:362-363 5王积伟,吴振顺 控制工程基础M 2 版 北京:高等教育出版社,2010 6熊藜,宋刚,胡荣瀚,等 二阶控制系统时间响应分析J 汽车实用技术,2019(12):96-98收稿日期:20210930881