改进TransTrack多目标生猪行为跟踪方法.pdf
《改进TransTrack多目标生猪行为跟踪方法.pdf》由会员分享,可在线阅读,更多相关《改进TransTrack多目标生猪行为跟踪方法.pdf(9页珍藏版)》请在文库网上搜索。
1、改进 TransTrack 多目标生猪行为跟踪方法涂淑琴,黄正鑫,梁云,黄磊,刘晓龙(华南农业大学数学与信息学院,广州510642)摘要:高效准确地监测群养生猪的行为变化以获取其生理、健康和福利状况,对于实现生猪智能精细化养殖具有重要意义。针对猪场自然场景下光照变化和猪只粘连遮挡等因素影响,使得猪只行为跟踪中存在误检、漏检和身份频繁错误变换问题,该研究提出一种改进的 TransTrack 多目标生猪行为跟踪方法。首先,在目标检测模块中,采用改进的并集交并比的匹配算法,去除猪只遮挡导致的目标误检检测框。然后,在跟踪模块中,根据高低匹配阈值进行 2 次数据关联,提高光照变化下漏检目标的跟踪准确性。
2、最后,针对误检与漏检导致跟踪中猪只身份错误变换,根据猪栏中猪只数量信息,限制猪只身份编号值的错误增加,提高猪只身份准确识别率。在公开数据集和私有数据集上的试验结果表明,改进的 TransTrack 在多目标跟踪准确率(multipleobjecttrackingaccuracy,MOTA),高阶跟踪准确率(higherordertrackingaccuracy,HOTA)和身份变换(identityswitches,IDs)分别为 92.0%、69.8%和 210。在公开数据集中,对比Trackformer,JDE 和 TransTrack 模型,改进的 TransTrack 方法在 MOTA
3、 分别提高 3.9,9.0 和 13.1 个百分点,HOTA 分别提高 1.3,9.5 和 8.3 个百分点,IDs 分别降低 136,326 和 376。在私有数据集中,对比 Trackformer和 TransTrack 模型,改进的 TransTrack方法在 MOTA 分别提高 14.4 和 15.8 个百分点,HOTA 分别提高 1.8 和 9.5 个百分点。结果显示,改进的 TransTrack 方法能够更加稳定地实现对群养生猪的行为跟踪,为群养生猪行为识别与智能分析提供技术支持。关键词:识别;多目标跟踪;生猪;TransTrack;数据关联doi:10.11975/j.issn.
4、1002-6819.202303189中图分类号:TP391.4文献标志码:A文章编号:1002-6819(2023)-15-0172-09涂淑琴,黄正鑫,梁云,等.改进 TransTrack 多目标生猪行为跟踪方法J.农业工程学报,2023,39(15):172-180.doi:10.11975/j.issn.1002-6819.202303189http:/www.tcsae.orgTUShuqin,HUANGZhengxin,LIANGYun,etal.Methodsformulti-targettrackingofpigactionusingimprovedTransTrackJ.Tr
5、ansactionsoftheChineseSocietyofAgriculturalEngineering(TransactionsoftheCSAE),2023,39(15):172-180.(inChinesewithEnglishabstract)doi:10.11975/j.issn.1002-6819.202303189http:/www.tcsae.org0引言生猪产业作为中国经济的重要组成部分,其降本增效对经济发展具有重要意义1。为了在大规模生猪养殖中降低成本、提高效益,数字化信息技术被广泛应用,并成为未来发展的方向。然而,在目前的生猪养殖中,群养生猪的行为监测主要依赖于人工,
6、这导致管理成本高、存在人畜交叉感染的风险2-3。为应对这些挑战,深度学习技术已被应用于生猪行为监测中,实现非接触式和低应激的健康监测,提高猪只福利和经济效益4-5。在猪只行为识别领域,基于深度学习的猪只行为与姿态识别研究已取得许多成果6-10。例如,在猪只行为识别方面,ZHENG 等6研究猪只站立、坐、趴卧和侧卧识别,CHEN 等7研究生猪的攻击性行为。SHAO 等8研究生猪站立、俯卧、侧卧和探索行为。在姿态识别方面,RIEKERT 等9研究生猪姿态检测,平均精度为80.20%。王鲁等10研究母猪 4 种姿态识别,包括跪立、站立、坐和躺卧姿态,取得平均精度为 98.20%的性能。以上研究在特定
7、条件下达到较高精度,猪只行为与姿态识别取得一定进展,但缺乏对不同光照场景下的充分试验,在不同光照场景及猪只粘连密集遮挡下,准确识别猪只姿态行为仍存在一定挑战,且上述研究仅对图像中猪只行为进行静态识别,无法实现对视频中每头猪只的行为进行动态的自动跟踪。多目标跟踪(multipleobjecttracking,MOT)算法在给定视频中对多个感兴趣的目标进行定位,维持个体ID号,跟踪每个个体的运动轨迹11。常用的 MOT 算法包括 SORT12、DeepSORT13、JDE14、ByteTrack15、TrackFormer16和 TransTrack17等。近年来,MOT 算法也引入猪只视频监控应
8、用中。例如,张伟等18利用CenterNet+DeepSORT 模型实现了断奶仔猪的检测和多目标跟踪,改善了猪只外观相似和遮挡情况下的跟踪效果。文献 19-20 提出基于 YOLOv5s 及 YOLOX-S 的改进 DeepSORT 算法,改善了猪只重叠与遮挡造成的猪只身份编号(ID)频繁跳变。文献 21 利用一种 JDE 群养生猪 MOT 方法,实现了实时的跟踪效果。文献 22 提出改进 ByteTrack 多目标跟踪算法用于群养生猪行为跟踪,该方法提高了跟踪的性能和效率。虽然上述研究在猪只目标跟踪领域取得了一定的进展,然而这些方法中的检测器、跟踪器和外观模型是分开训练,在目标检测、跟踪和重
9、识别任务之间缺乏有效的信息交互利用,在复收稿日期:2023-03-27修订日期:2023-06-30基金项目:广州市重点研发计划(202206010091);广州市重点研发计划项目(2023B03J1363)作者简介:涂淑琴,博士,讲师,研究方向为图像处理与计算机视觉。Email:通信作者:梁云,博士,教授,研究方向为图像处理与计算机视觉。Email:第39卷第15期农 业 工 程 学 报Vol.39No.151722023年8月TransactionsoftheChineseSocietyofAgriculturalEngineeringAug.2023杂场景下,容易出现猪只漏检、错检和 I
10、D 频繁跳变等问题。另外,上述多数研究仅完成了生猪目标跟踪,未将生猪行为信息与跟踪相融合,因此,需要进一步将猪只行为与跟踪任务进行融合,以实现对每头生猪行为的准确自动跟踪。针对上述问题,本文提出一种改进的 TransTrack 多目标生猪行为跟踪方法。首先,该方法采用 TransFormer网络实现目标检测、跟踪和重识别的信息交互,同时,在目标检测模块中采用改进的并集交并比匹配算法,消除猪只遮挡导致的错误检测框;然后,在跟踪模块中,引入不同的匹配阈值,进行 2 次数据关联,以确保在不同光照条件下准确跟踪漏检目标。为解决误检和漏检引起的猪只身份错误变换问题,利用猪栏猪只真实头数的先验信息,更正猪
11、只身份错误变换,实现准确的猪只身份识别;最后,在跟踪轨迹中引入猪只行为信息,构建生猪多目标行为跟踪模型,为实现猪只行为分析提供可靠的技术支撑。1试验数据本研究使用公开数据集和私有数据集进行试验。其中,公开数据集来自文献 23,包含 23 个猪舍监控视频段,每个猪舍中的猪只数量不同,范围为 716 头,涵盖白天和夜晚的不同时间段,共包含图像 6900 张。其中,12 个视频段用于模型训练和验证,其余 11 个视频段用于测试。私有数据集为 8 个视频段,包含 2400 张图像,在佛山商业猪场进行拍摄,包括 08:0010:00 和 15:0016:00 的晴天和阴天,每个猪舍有 611 头猪只,其
12、中 4个用于训练,4 个用于测试。每个视频段的时长为 1min,帧率为 5 帧/s,每个视频都包含 300 张图像。这 2 个数据集中都包含具有不同日龄、大小和数量的猪只视频。根据时间段的不同将猪只的活动水平分为3类:白天的高活动、白天(或夜晚)的中等活动、白天(或夜晚)的低活动。其中,猪只活动水平21定义如下:根据视频的人工观察结果,在白天(10:0012:30)猪只的饮食和玩耍等行为较频繁,此时间段定义为猪只白天的高活动水平。在白天(12:3017:00)或夜晚(17:0020:00)猪只的饮食和玩耍等行为没有白天(10:0012:30)高,此时间段定义为白天或夜晚的中等活动水平。在白天(
13、07:0010:00)或夜晚(20:0007:00)猪只的饮食和玩耍等行为较少,躺卧行为较多,此时间段定义为白天或夜晚的低活动水平。详细的测试视频如表 1 所示。表1测试数据集Table1Testdataset数据集Dataset视频编号Vedionumber白天Day黑夜Night活动水平Activitylevel猪只个数Numberofpigs公开数据集Publicdataset0102高70402中150502中80602高160702中120802低130902中141002中141102高161202低151502中16私有数据集Privatedataset1602低111604中1
14、11701高61703低6部分数据样本如图 1 所示,其中图 1a 是公开数据集的示例,图 1b 是私有数据集的示例。在生猪各个生长阶段中,躺卧、饮食和站立是猪只行为研究的基础需求,对猪只的这些行为进行追踪,能更好地了解猪只生长过程的心理和生理状态,满足猪场管理实际需求。因此,本研究将生猪的行为分为 4 个类别,分别是躺卧、饮食、站立和其他。a.公开数据集a.Public datasetb.私有数据集b.Private dataset视频0102Video 0102视频0702Video 0702视频1502Video 1502视频1602Video 1602视频1604Video 1604视
15、频1701Video 1701图 1部分生猪图像Fig.1Partofgroup-housedpigimages2改进的 TransTrack 多目标生猪行为跟踪方法针对 TransTrack 方法在猪场环境下,由于遮挡和重复 检 测 导 致 跟 踪 性 能 下 降 的 问 题,提 出 改 进 的TransTrack 方法,其工作流程如图 2 所示。该方法分为FtFt1特征提取和检测与跟踪模块两部分,首先,将视频输入到特征提取模块,利用基于残差网络的骨干网络提取连续 2 帧图像的特征(,),将其组合为全局特征图后,融合位置嵌入信息输入 TransFormer 编码器;然第15期涂淑琴等:改进
16、TransTrack 多目标生猪行为跟踪方法173FtFt1后,将编码之后的连续 2 帧图像特征(编码,编码)输入到 2 个 TransFormer 解码器网络,分别输入前馈网络,形成目标检测网络和跟踪网络,产生目标检测框和跟踪框;最后,将检测框和跟踪框进行并集交并比(completeintersectionoverunion,CIOU)数据关联匹配,输出多目标跟踪图像序列结果。.解码器Decoder解码器Decoder.编码器Encoder位置嵌入Position embedingFt特征Ft featureFt1特征Ft1 feature特征提取模块Feature extraction m
17、odule骨干网络BackboneFt编码Ft encodeFt1编码Ft1 encodet视频输入Video input视频输出Video output可学习目标查询Query of learnable objectives跟踪查询Tracking query前馈网络Feedforward network前馈网络Feedforward network检测与跟踪模块Detection and tracking moduleCIOU匹配CIOU matching卷积网络CNN数据关联Data association图 2改进的 TransTrack 多目标生猪行为跟踪方法Fig.2Behavio
18、rtrackingflowchartofimprovedTransTrackongroup-housedpigs2.1TransFormer 编码器和解码器FtFt1TransTrack 的关键模块为 TransFormer 编码器和解码器。TransFormer 编码器结构如图 3a 所示,首先对输入的连续 2 帧图像特征进行自注意力处理,然后通过前馈网络和 2 次残差连接正则化处理,对特征进行增强处理,输出增强的特征,分别为和编码。TransFormer 解FtFt1码器结构如图 3b 所示,以前一帧的目标特征和当前帧的可学习目标作为跟踪和目标查询,将目标查询和跟踪查询通过自注意力学习和
19、1 次残差连接正则化处理,分别与编码器输出的图像特征(编码,编码)进行交叉注意力,经过 2 次残差连接正则化和前馈网络处理,产生增强的目标特征和跟踪特征,获得跟踪目标和检测结果。a.编码器a.Encoder自注意力残差连接前馈网络残差连接图像特征输出b.解码器b.Decoder自注意力残差连接跟踪查询交叉注意力前馈网络残差连接残差连接跟踪特征自注意力残差连接目标查询交叉注意力前馈网络残差连接残差连接目标特征输出输出编码器输出图 3TransFormer编码器和解码器Fig.3TransFormerencoderanddecoderTransFormer 编码器和解码器采用相同的训练损失,损失函
20、数 计算式为:=clscls+L1L1+GIOUGIOU(1)cls式中为预测的类别和真实类别之间的 Focalloss24,174农业工程学报(http:/www.tcsae.org)2023年L1GIOUclsL1GIOU为归一化后的预测框中心点坐标与真实坐标之间的 L1损失,为归一化后的预测框宽度和高度与真实框宽度和高度之间的广义交并比(generalizedintersectionoverunion,GIOU)损失25,和都是固定系数。2.2数据关联方法TransTrack 在 MOT 任务取得优秀的性能,然而,TransTrack 在数据关联匹配中采用 GIOU,无法应对遮挡和重复检
21、测等问题造成的目标跟踪性能下降的挑战。因此,本文在基本的 TransTrack 方法基础上,对检测和跟踪模块两部分进行有效改进。1)检测模块的重叠框修正和改进数据关联算法首先,在目标检测中计算检测框之间的重叠程度,根据设定阈值去除重叠的多余检测框;然后,根据检测置信度将无重叠的检测框分为高分和低分的目标检测框。同时,将 4 种猪只行为类别信息引入目标分类中。最后,在轨迹跟踪中,使用 CIOU 分别对高分和低分目标检测框进行 2 次数据关联,并在轨迹框中增加 4 种行为类别参数,实现猪只行为跟踪。2)跟踪模块的 ID 修正处理在群养生猪自然场景下,由于目标误检或者密集遮挡等原因,TransTra
22、ck 存在猪只频繁的 ID 错误变换。针对该挑战,本文根据养猪场猪栏中猪只数量在一段时间内固定的特点,在对群养生猪进行跟踪时,通过优化轨迹 ID 的赋值方法,限制 ID 的增长,减少猪只 ID 频繁错误切换。对轨迹 ID 的修正处理流程如图 4 所示。目标检测结果检测框得分是否大于阈值N丢弃检测框检测框放入DYD与轨迹T进行两次匹配是否第一帧NY按照D的数量给轨迹分配ID得到第一次未匹配的检测框Dunmatch _ 1,未 匹配 的轨 迹Tunmatch和已匹配轨迹TmatchDunmatch_1和Tunmatch采用欧氏距离进行聚类匹配得到第二次未匹配的检测框Dunmatch_2和已匹配轨迹
23、TmatchDunmatch_2是否为空结束匹配YN在Dunmatch_2中阈值大于0.4的检测框赋予一个在Tmatch中不存在的ID号结束匹配注:D 为置信度得分大于阈值的检测框,T 为轨迹,Dunmatch_1为第一次未匹配的检测框,Tunmatch为未匹配的轨迹,Tmatch为已匹配轨迹,Dunmatch_2为第二次未匹配的检测框Note:Disthedetectionboxwithconfidencescoregreaterthanthethreshold,Tis the track,Dunmatch_1 is the first unmatched detection box,Tun
24、match is theunmatched track,Tmatch is the matched track,and Dunmatch_2 is the secondunmatcheddetectionbox图 4跟踪模块的 ID 处理Fig.4IDprocessingfortrackingmodules由图 4 可知,跟踪模块的 ID 处理过程中,将目标检测结果中,置信度得分大于阈值的检测框放入 D 中。若nn为第一帧,创建一个新的轨迹 T=T1,Tn,按 D 数量从1,,给轨迹 T 的 ID 赋值。否则,将 D 与 T 进行两次匹配,得到第一次未匹配的检测框 Dunmatch_1,未匹配
25、的轨迹 Tunmatch和已匹配轨迹 Tmatch。对 Dunmatch_1和 Tunmatch采用欧氏距离进行聚类匹配。产生第二次未匹配的检测框 Dunmatch_2和匹配轨迹 Tmatch。若 Dunmatch_2为空,说明检测框 D 和轨迹 T 匹配成功;否则,依次给 Dunmatch_2里每一个阈值大于 0.4 的检测框,从小到大赋予一个在 Tmatch中不存在的 ID 号,并更新 Tmatch。2.3试验平台本文所有试验在同一台计算机上完成,使用 Linux作为试验平台,采用 ubuntu20.04 操作系统,硬件配置为 12thGenIntel(R)i9-12900KFCPU,NV
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 TransTrack 多目标 生猪 行为 跟踪 方法