摘要
RGB和热源数据在RGBT跟踪中面临着共同和特定的挑战，如何探索和利用这些挑战对于表示目标外观至关重要。本文提出了一种新颖的挑战感知神经网络，用于处理模态共享挑战（例如快速运动、尺度变化和遮挡）以及模态特定挑战（例如光照变化和热交叉）。具体而言，我们在每一层设计了多个参数共享分支来建模目标在模态共享挑战下的外观，并为模态特定挑战设计了多个参数独立分支。基于不同模态的模态特定线索通常包含互补优势的观察结果，我们提出了一种引导模块，用于从一个模态向另一个模态传输判别特征，从而增强某些较弱模态的判别能力。此外，所有分支以自适应的方式聚合在一起，并并行嵌入到骨干网络中，以高效地形成更具判别性的目标表示。这些挑战感知分支能够在特定挑战下建模目标外观，即使在训练数据不足的情况下，也能通过少量参数学习到目标表示。实验结果表明，我们的方法在实时速度下运行，并且在三个基准数据集上表现出色，优于现有最先进的方法。