HyperAI
Command Palette
Search for a command to run...
基于自然语言描述的追踪
基于自然语言描述的追踪
Arnold W. M. Smeulders Efstratios Gavves Zhenyang Li Ran Tao Cees G. M. Snoek
摘要
本文致力于在视频中追踪目标物体。与传统方法在视频首帧通过边界框指定目标不同,我们提出基于自然语言描述来追踪目标,这种方法不仅实现了更自然的人机交互,也为提升追踪效果提供了新途径。我们定义了三种基于语言描述的追踪模式:仅依赖语言形式的目标描述、基于语言引导的视觉目标描述,以及融合语言与视觉信息的联合描述模式。为验证自然语言描述在追踪任务中的潜力,我们对两个主流的追踪数据集进行了扩展,增加了语言描述信息,并开展了相关实验。最后,我们还展望了在监控及其他实时视频流场景中,借助语言描述指定目标所可能开启的新应用前景。