摘要
基于记忆的跟踪器是一种视频对象分割方法，通过将最近跟踪的帧串联到一个记忆缓冲区中来构建目标模型，并通过将当前图像与缓冲区中的帧进行注意力机制匹配来定位目标。尽管已经在许多基准测试中取得了顶级性能，但SAM2的最新发布使得基于记忆的跟踪器成为视觉对象跟踪社区关注的焦点。然而，现代跟踪器在存在干扰物的情况下仍然面临挑战。我们认为需要一个更复杂精妙的记忆模型，并提出了一种新的干扰物感知记忆模型以及一种基于内省的更新策略，共同解决分割精度和跟踪鲁棒性问题。由此产生的跟踪器被命名为SAM2.1++。我们还提出了一种新的干扰物蒸馏DiDi数据集，以更好地研究干扰物问题。SAM2.1++在七个基准测试上超越了SAM2.1及相关SAM记忆扩展方法，并在其中六个基准测试上确立了坚实的新最先进水平。