HyperAIHyperAI

Command Palette

Search for a command to run...

STVGFormer:基于静态-动态跨模态理解的时空视频定位

Zihang Lin Chaolei Tan Jian-Fang Hu Zhi Jin Tiancai Ye Wei-Shi Zheng

摘要

在本技术报告中,我们介绍了针对以人为中心的空间-时间视频定位任务的解决方案。我们提出了一种简洁有效的框架,命名为STVGFormer,该框架通过静态分支和动态分支建模空间-时间视觉-语言依赖关系。静态分支在单个帧内进行跨模态理解,并根据帧内的视觉线索(如物体外观)学习对目标对象进行空间定位。动态分支则在多个帧之间进行跨模态理解,根据动态视觉线索(如运动)学习预测目标时刻的起始时间和结束时间。静态和动态分支均设计为跨模态 Transformer 。此外,我们还设计了一种新颖的静态-动态交互模块,以实现静态和动态分支之间的有用且互补的信息传递,这被证明在处理困难案例时能有效提高预测性能。我们所提出的方法达到了39.6%的vIoU,并在第4届“人在上下文中”挑战赛的HC-STVG赛道中获得第一名。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
STVGFormer:基于静态-动态跨模态理解的时空视频定位 | 论文 | HyperAI超神经