HyperAIHyperAI

Command Palette

Search for a command to run...

利用多模态时空模式进行视频目标跟踪

Xiantao Hu Ying Tai* Xu Zhao Chen Zhao Zhenyu Zhang Jun Li Bineng Zhong Jian Yang*

摘要

多模态跟踪因其能够有效解决传统RGB跟踪固有的局限性而受到广泛关注。然而,现有的多模态跟踪器主要集中在空间特征的融合与增强,或者仅利用视频帧之间稀疏的时间关系。这些方法未能充分利用多模态视频中的时间相关性,导致在复杂场景中难以捕捉目标的动态变化和运动信息。为了解决这一问题,我们提出了一种统一的多模态时空跟踪方法,命名为STTrack。与以往仅依赖更新参考信息的方法不同,我们引入了时间状态生成器(Temporal State Generator, TSG),该生成器能够连续生成包含多模态时间信息的一系列标记(tokens)。这些时间信息标记用于指导下一时刻目标的定位,建立视频帧之间的长程上下文关系,并捕捉目标的时间轨迹。此外,在空间层面,我们引入了Mamba融合和背景抑制交互(Background Suppression Interactive, BSI)模块。这些模块建立了双阶段机制,协调各模态间的信息交互与融合。在五个基准数据集上的广泛对比实验表明,STTrack在各种多模态跟踪场景中均达到了最先进的性能。代码可从以下链接获取:https://github.com/NJU-PCALab/STTrack


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供