HyperAIHyperAI

Command Palette

Search for a command to run...

基于自然语言描述的追踪

Arnold W. M. Smeulders Efstratios Gavves Zhenyang Li Ran Tao Cees G. M. Snoek

摘要

本文致力于在视频中追踪目标物体。与传统方法在视频首帧通过边界框指定目标不同,我们提出基于自然语言描述来追踪目标,这种方法不仅实现了更自然的人机交互,也为提升追踪效果提供了新途径。我们定义了三种基于语言描述的追踪模式:仅依赖语言形式的目标描述、基于语言引导的视觉目标描述,以及融合语言与视觉信息的联合描述模式。为验证自然语言描述在追踪任务中的潜力,我们对两个主流的追踪数据集进行了扩展,增加了语言描述信息,并开展了相关实验。最后,我们还展望了在监控及其他实时视频流场景中,借助语言描述指定目标所可能开启的新应用前景。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供