HyperAIHyperAI

Command Palette

Search for a command to run...

从非策划的教学视频中端到端学习视觉表征

Antoine Miech∗ Jean-Baptiste Alayrac∗ Lucas Smaira2 Ivan Laptev1 Josef Sivic1,3 Andrew Zisserman2,4

摘要

视频标注既繁琐又昂贵,且不具备可扩展性。然而,许多强大的视频模型仍然依赖于人工标注的数据。随着HowTo100M数据集的最近引入,带有旁白的视频现在提供了在无需人工监督的情况下学习视频表示的可能性。在这项工作中,我们提出了一种新的学习方法——MIL-NCE(多实例学习对比编码),该方法能够解决带有旁白的视频中固有的对齐问题。通过这种方法,我们能够从零开始学习强大的视频表示,而无需任何人工标注。我们在八个数据集上的四个下游任务中评估了我们的表示方法:动作识别(HMDB-51、UCF-101、Kinetics-700)、文本到视频检索(YouCook2、MSR-VTT)、动作定位(YouTube-8M Segments、CrossTask)以及动作分割(COIN)。我们的方法在这几项任务上均优于所有已发表的自监督方法,并且在某些任务上还超过了几个完全监督的基线模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
从非策划的教学视频中端到端学习视觉表征 | 论文 | HyperAI超神经