摘要
RGBT跟踪通常面临快速运动、尺度变化、光照变化、热交叉以及遮挡等多种挑战性因素。现有方法多采用统一的融合模型试图同时应对所有挑战,这要求融合模型具备较高的复杂度,并依赖大规模训练数据,因而往往难以在真实场景中有效构建。本文通过解耦融合过程与各类挑战属性之间的关联,提出一种新型的基于属性的渐进式融合网络(Attribute-Based Progressive Fusion Network, APFNet),在参数量较少的前提下显著提升融合能力,同时降低对大规模训练数据的依赖。具体而言,我们设计了五个针对特定属性的融合分支,分别用于在热交叉、光照变化、尺度变化、遮挡和快速运动等不同挑战下融合RGB与热红外特征。通过解耦融合过程,每个分支仅需少量参数即可实现对多模态特征的鲁棒融合,并可基于带有对应属性标注的小规模训练子集进行独立训练。为进一步实现各分支特征的自适应融合,我们引入基于SKNet的聚合融合模块。此外,还设计了一种增强型融合Transformer,用于强化聚合后的特征以及模态特异性特征。在多个基准数据集上的实验结果表明,所提出的APFNet在性能上优于现有主流方法,验证了其有效性与优越性。