MFGNet：用于RGB-T跟踪的动态模态感知滤波器生成网络

许多RGB-T跟踪器通过利用自适应加权方案（或注意力机制）来实现鲁棒的特征表示。不同于这些研究工作，我们提出了一种新的动态模态感知滤波器生成模块（命名为MFGNet），以通过自适应调整实际跟踪中不同输入图像的卷积核来增强可见光和热红外数据之间的信息传递。给定图像对作为输入，我们首先使用骨干网络对其特征进行编码。然后，我们将这些特征图连接起来，并通过两个独立的网络生成动态模态感知滤波器。可见光和热红外滤波器将分别在其对应的输入特征图上执行动态卷积操作。受残差连接的启发，生成的可见光和热红外特征图将与输入特征图进行汇总。增强后的特征图将被送入RoI对齐模块，以生成实例级别的特征用于后续分类。为了解决由严重遮挡、快速运动和视域外引起的问题，我们提出了一种结合局部和全局搜索的新方向感知目标驱动注意力机制。空间和时间递归神经网络用于捕捉方向感知上下文，以实现精确的全局注意力预测。在三个大规模RGB-T跟踪基准数据集上的广泛实验验证了我们所提出的算法的有效性。本文的源代码可在\textcolor{magenta}{\url{https://github.com/wangxiao5791509/MFG_RGBT_Tracking_PyTorch}}获取。