多尺度选择注意力的双模态目标追踪算法.pdf
《多尺度选择注意力的双模态目标追踪算法.pdf》由会员分享,可在线阅读,更多相关《多尺度选择注意力的双模态目标追踪算法.pdf(9页珍藏版)》请在文库网上搜索。
1、 年 无线电工程 第 卷 第 期:引用格式:晏开祥,周冬明,王长城,等多尺度选择注意力的双模态目标追踪算法无线电工程,():,():多尺度选择注意力的双模态目标追踪算法晏开祥,周冬明,王长城,周子为(云南大学 信息学院,云南 昆明)摘要:与可见光相比,红外光在部分复杂环境下仍能保持追踪目标的图像捕捉能力。因此,红外光图像可帮助计算机视觉跟踪算法提高目标跟踪的精度和鲁棒性。但在真实的目标追踪序列场景中,跟踪画面还存在眩光、形变和镜头抖动等干扰。为抵御此类干扰,提出了一种使用多尺度选择注意力的红外可见光融合目标跟踪算法(,)。该算法利用多尺度卷积核以及通道选择注意力,提取不同尺度大小的目标特征并将
2、模型权重聚焦于质量较高的特征图、降低干扰带来的不利影响,从而提高模型的跟踪性能。通过在和数据集上的验证结果表明,该算法可有效抵抗画面中干扰情况带来的不利影响,实现高精度的目标追踪。关键词:目标跟踪;多尺度卷积;通道注意力;自适应特征融合中图分类号:文献标志码:开放科学(资源服务)标识码():文 章 编 号:(),(,):,(,),()(),:;收稿日期:基金项目:国家自然科学基金(,);云南大学研究生科研创新基金资助项目(,):(,);(,)引言视觉目标追踪(,)作为计算视觉领域的一项基础任务,具有广阔的科研和工业价值。近年来,以相关滤波和 为基础的多项目标跟踪算法在跟踪速度和精度上均取得了令
3、人瞩目的成绩。但可见光传感器在恶劣环境(如雨雪、浓雾、夜晚等情况)下有限的图像捕捉能力限制了跟踪算法性能的进一步提升。因此,克服上述问题是该领域的一个重要研究方向。红外光传感器因其独特的成像原理,可有效识别出目标(热源)与背景的信号差异,能够在雨雪、浓雾和夜晚等情况下,保持跟踪目标的图像获取能力。因此,融合了红外光与可见光(,)互补特性的目标跟踪算法已成为视觉目标跟踪领域的一个热门研究方向。近期,多项基于的目标跟踪研究结果表明,引入红外光图像作为补充手段,可有效提高目标跟踪性能。例如,通过共享图像的特征编码权信号与信息处理 重,实现了远高于传统可见光跟踪算法的任务性能。通过全局平均池化和加权随
4、机选择,去除噪声和冗余特征,从而提高了该模型的跟踪性能。通过评估来自双模态的特征信息,增强其中特定模态的部分特征信息,强化特征图对目标所在区域的特征表现。这些跟踪算法虽然实现了很好的跟踪效果,但在真实场景中存在的干扰情况(例如画面模糊、目标快速移动、目标特征变化和镜头抖动等)使得上述算法难以保持稳定的跟踪状态。这些干扰往往不具备统一的尺度和类似的形态,所以传统的卷积网络无法利用其固定大小的卷积核识别目标与背景的差别。为降低此类多尺度和多形态的干扰,增强大尺度变化下的目标特征提取能力,本文设计了一种基于多尺度选择注意力机制的融合目标跟踪算法(,)。通过在神经网络的单个卷积层中嵌入并行的多尺度卷积
5、核提取不同尺度和形态下的目标特征,再利用通道选择注意力筛选出其中目标特征质量较高的特征图,可有效提升算法的追踪精度和稳定性。在开源的公开数据集和上的实验结果表明,具备良好的稳定性和跟踪精度。针对上述问题,本文的主要贡献如下:提出了一个用于目标跟踪的算法()。该算法通过内部并行的三条通道分别提取可见光、红外光以及红外可见光融合模态特征,从而增强目标跟踪性能。提出了多分支选择卷积模块(,)。通过提取不同尺度的图像特征,不仅保留了不同尺度级别的图像语义信息,还降低了其中低质量特征和图像干扰信息对算法精度的影响。设计了一个动态自适应融合模块(,)。为各尺度级的图像特征匹配了一个自适应权重参数,并利用该
6、参数对送入的各尺度级的图像特征进行加权求和,从而实现对各尺度级的图像特征的融合。相关工作 基于融合策略的目标跟踪目标跟踪任务中,为全面覆盖真实的目标跟踪场景,跟踪视频序列往往采集自低照度、黑夜、雨雪和沙尘等极端场景。这类极端场景极大地影响了算法的跟踪精度和鲁棒性。为应对此类情况,大量研究尝试利用红外与可见光图像的互补特性,设计目标跟踪算法,以此增强跟踪算法的稳定性和精度。例如,等通过对红外光模态、可见光模态以及红外可见光融合模态分别建立特征提取通道,设计了用于融合目标追踪的多适配器跟踪算法。该算法不仅保留了所特有的模态信息,还建立了红外与可见光融合信息编码器。在此基础上,等利用双门机制分类处理
7、各类干扰问题,进一步提升了目标跟踪的连续性和稳定性。等则在其设计的跟踪算法模型中加入了相关滤波块,以此衡量上级神经网络特征图的可靠性,并选择其中可靠性更高的特征图作为下一级神经网络的输入,有效地提高了跟踪算法的鲁棒性。此外,随着注意力机制在计算机视觉领域中的快速发展,涌现了一批基于视觉注意力机制的跟踪算法。例如等在其研究中利用作为特征提取基干,使用机制作为特征融合策略,实现了特征增强和深层次语义特征提取,改善了以往模型中因本地特征匹配精度较低造成的跟踪误差。等在双模态独立卷积特征提取结构的基础上,引入了空间轴向多头注意力,在轴向与空间个维度上分别进行注意力机制计算,实现了特征图的像素级融合以及
8、对目标位置信息的上下文编码。基于注意力机制的算法注意力机制在自然语言处理领域的大规模应用推动了基于视觉注意力机制的追踪算法的快速发展。通过对高密度信息和高质量特征区域进行编码和权值重排,注意力机制可以将模型的注意力权重合理地分配到目标所在区域,同时抑制特征中存在的部分噪声,改善低质量特征对模型带来的不利影响。参考自然语言处理中的注意机制将句子视为序列的做法,将图像转换为序列,并将其送入多头注意机制中进行分类,进而实现了注意力机制在计算机视觉中的应用。王淑贤等设计的通过多尺度通道注意力沿特征图轴向维度,建立选择向量空间,选择轴向维度上特征表现更优的特征图,实现了注意力机制在跟踪算法中的应用。江英
9、杰等使用建立了一个双流编解码追踪网络,通过构成的编码解码器学习追踪目标的图像特征,提高了跟踪算法的鲁棒性。现有的双模态数据集中,视频序列不仅信号与信息处理 年 无线电工程 第 卷 第 期 在可见光模态中存在前文所述的多类型干扰,还在红外光模态中存在热交叉、红外传感器底噪和红外目标重叠等干扰情况。随着目标的快速移动,这些干扰使得画面质量迅速恶化,固定尺寸的感受野无法稳定捕捉目标特征。为改善这一情况,本文设计了一种具备多尺度。通过配备的多尺度的卷积核,在不同尺度上获取图像的特征信息,再经过通道选择注意力,增强各尺度特征图中跟踪目标的特征信息,降低上述提及的各类型干扰,提高跟踪的精度和稳定性。基于多
10、尺度选择注意力的跟踪算法 整体结构为克服不同尺度和形态的干扰,本文通过多个感受野所组成的卷积模块获取来自各度级的卷积特征,以增强算法应对目标大小变化、画面干扰的能力。整体结构如图所示。图整体结构 主要由并行的融合通道()、可见光通道()、红外光通道()以及一个实例分类模块(,)组成。其中个并行的融合通道和可见光通道、红外光通道分别用于提取红外可见光融合模态、可见光模态和红外光模态的图像特征,而实例分类模块则用于确认跟踪目标是否存在于这些特征之中。可见光通道与红外光通道结构类似,由个多分支选择卷积模块(,)级联而成,由浅到深地提取图像特征。融合通道中与结构相同,由卷积层、激活层和最大池化层组成,
11、而仅包含卷积层和激活层。中所有可学习权重参数结合了可见光和红外光各自的图像特性,增强了种模态特征提取的特点。实例分类模块由个全连接层级联而成,分别是、和。、的主要输入输出参数如表所示。表模型中主要模块输入输出参数 模块名称输入通道数输入维度数()输出通道数输出维度数()信号与信息处理 续表模块名称输入通道数输入维度数()输出通道数输出维度数()多分支选择卷积模块为从不同尺度的感受域提取目标特征,并合理地融合这些特征,本文在中设计了,结构如图所示。图结构 单个主要由多尺度卷积(,),选择注意力(,)以及三部分组成。由 四个不同尺度的卷积块构成,每个卷积块均由卷积层、层、激活层和最大池化层级联而成
12、,卷积层的卷积核大小分别为、。为充分利用特征图中的高质量特征信息,在 之后还分别级联了一个模块,沿特征图的轴向挑选各尺度的卷积特征图。最后将挑选后的特征图交由进行自适应权重融合。该过程的详细步骤是:首先将输入特征 同时输入(,)分支,相应得到特征(,)。而后将分为、,其中输入对应的模块(,)得到对应的注意力图(,),将与进行哈德玛积运算,从而得到分支的输出结果(,)。最后利用对进行自适应特征融合后,得到最终的输出结果。在自适应特征融合过程中,为避免数据溢出造成的数值发散,引入了非线性归一化函数,对自适应权重值进行了归一化运算。其中和模块的详细过程如下:(,)()()(),()(),(),()式
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 尺度 选择 注意力 双模 目标 追踪 算法