HyperAIHyperAI

Command Palette

Search for a command to run...

基于SAM2的视觉目标跟踪中的干扰感知记忆

Jovana Videnovic Alan Lukezic Matej Kristan

摘要

基于记忆的追踪器是一类视频目标分割方法,其通过将最近追踪到的帧拼接成一个记忆缓冲区来构建目标模型,并通过将当前图像与缓冲区中的帧进行注意力匹配来定位目标。尽管这类方法已在多个基准测试中达到顶尖性能,但近期SAM2的发布才真正使基于记忆的追踪器成为视觉目标追踪领域关注的焦点。然而,现代追踪器在存在干扰物的情况下仍表现不佳。我们认为,亟需更复杂的记忆建模机制,因此提出一种面向干扰物的新型记忆模型,用于SAM2,并设计了一种基于内省的更新策略,以协同提升分割精度与追踪鲁棒性。由此构建的追踪器被命名为SAM2.1++。此外,我们还提出了一个新的干扰物蒸馏数据集DiDi,以更深入地研究干扰物问题。实验结果表明,SAM2.1++在七个基准测试中均优于SAM2.1及相关SAM记忆扩展方法,并在其中六个基准上建立了新的最先进性能记录。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供