STVGFormer：基于静态-动态跨模态理解的时空视频定位

在本技术报告中，我们介绍了针对以人为中心的空间-时间视频定位任务的解决方案。我们提出了一种简洁有效的框架，命名为STVGFormer，该框架通过静态分支和动态分支建模空间-时间视觉-语言依赖关系。静态分支在单个帧内进行跨模态理解，并根据帧内的视觉线索（如物体外观）学习对目标对象进行空间定位。动态分支则在多个帧之间进行跨模态理解，根据动态视觉线索（如运动）学习预测目标时刻的起始时间和结束时间。静态和动态分支均设计为跨模态变压器。此外，我们还设计了一种新颖的静态-动态交互模块，以实现静态和动态分支之间的有用且互补的信息传递，这被证明在处理困难案例时能有效提高预测性能。我们所提出的方法达到了39.6%的vIoU，并在第4届“人在上下文中”挑战赛的HC-STVG赛道中获得第一名。