摘要
RGBT（红绿蓝与热红外）跟踪由于红绿蓝（RGB）数据和热红外数据具有很强的互补优势，近年来受到了越来越多的关注，这些优势可以使跟踪器实现全天候、全天气工作。然而，如何有效表示RGBT数据以用于视觉跟踪仍然是一个研究不足的问题。现有的研究通常集中在提取模态共享信息或模态特定信息，但在RGBT跟踪中，这两种线索的潜力尚未得到充分探索和利用。在本文中，我们提出了一种新颖的多适配器网络，旨在联合进行模态共享、模态特定以及实例感知的目标表示学习，以应用于RGBT跟踪。为此，我们在端到端的深度学习框架内设计了三种类型的适配器。具体而言，我们使用改进的VGG-M作为通用适配器来提取模态共享的目标表示。为了提取模态特定特征并减少计算复杂度，我们设计了一个模态适配器，在每一层和每一种模态中并行添加一个小模块。这种设计能够在参数数量适度增加的情况下学习多层次的模态特定表示，因为大部分参数与通用适配器共享。此外，我们还设计了实例适配器来捕捉特定目标的外观属性及其时间变化。为进一步增强共享特征和特定特征的表现力，我们采用了多核最大均值差异损失来衡量不同模态特征之间的分布差异，并将其整合到每一层中以实现更加鲁棒的表示学习。在两个RGBT跟踪基准数据集上的大量实验表明，所提出的跟踪器在性能上显著优于现有最先进方法。