利用多模态时空模式进行视频目标跟踪

多模态跟踪因其能够有效解决传统RGB跟踪固有的局限性而受到广泛关注。然而，现有的多模态跟踪器主要集中在空间特征的融合与增强，或者仅利用视频帧之间稀疏的时间关系。这些方法未能充分利用多模态视频中的时间相关性，导致在复杂场景中难以捕捉目标的动态变化和运动信息。为了解决这一问题，我们提出了一种统一的多模态时空跟踪方法，命名为STTrack。与以往仅依赖更新参考信息的方法不同，我们引入了时间状态生成器（Temporal State Generator, TSG），该生成器能够连续生成包含多模态时间信息的一系列标记（tokens）。这些时间信息标记用于指导下一时刻目标的定位，建立视频帧之间的长程上下文关系，并捕捉目标的时间轨迹。此外，在空间层面，我们引入了Mamba融合和背景抑制交互（Background Suppression Interactive, BSI）模块。这些模块建立了双阶段机制，协调各模态间的信息交互与融合。在五个基准数据集上的广泛对比实验表明，STTrack在各种多模态跟踪场景中均达到了最先进的性能。代码可从以下链接获取：https://github.com/NJU-PCALab/STTrack。