2 个月前
MambaVT:用于鲁棒RGB-T跟踪的空间-时间上下文建模
Simiao Lai; Chang Liu; Jiawen Zhu; Ben Kang; Yang Liu; Dong Wang; Huchuan Lu

摘要
现有的RGB-T跟踪算法通过利用Transformer架构的全局交互能力和广泛的预训练模型取得了显著进展。然而,这些方法主要采用图像对的外观匹配,并且由于注意力机制固有的高二次复杂度,导致时间信息的利用受到限制。受最近出现的状态空间模型Mamba的启发,该模型以其出色的长序列建模能力和线性计算复杂度而闻名,本研究创新性地提出了一种纯基于Mamba的框架(MambaVT),以充分利用时空上下文建模,实现稳健的可见光-热红外跟踪。具体而言,我们设计了长程跨帧融合组件,以全局适应目标外观变化,并引入短期历史轨迹提示,根据局部时间位置线索预测后续目标状态。大量实验表明,视觉Mamba在RGB-T跟踪中具有显著潜力,MambaVT在四个主流基准测试中实现了最先进的性能,同时计算成本更低。我们希望这项工作能够作为一个简单而强大的基线,激发未来在这个领域的研究。代码和预训练模型将对外公开。