HyperAIHyperAI

Command Palette

Search for a command to run...

MAD:一个基于电影音频描述的视频语言对齐的可扩展数据集

Mattia Soldan Alejandro Pardo Juan León Alcázar Fabian Caba Heilbron Chen Zhao Silvio Giancola Bernard Ghanem

摘要

近年来,视频语言研究领域的兴趣日益增加,推动了大规模数据集的开发,这些数据集使得数据密集型机器学习技术得以实现。相比之下,对于这些数据集在视频语言对齐任务中的适用性评估却投入较少。近期的研究开始揭示这些数据集中存在的显著局限性,表明当前最先进的技术通常会过度拟合到数据集中的隐性偏差。在这项工作中,我们提出了MAD(Movie Audio Descriptions),这是一个全新的基准测试,它不同于以往通过为现有视频数据集添加文本注释的方法,而是专注于爬取和对齐主流电影中可用的音频描述。MAD包含超过384,000个自然语言句子,覆盖了超过1,200小时的视频,并且在目前诊断出的视频语言对齐数据集偏差方面表现出显著减少。MAD的数据收集策略使得视频语言对齐任务有了一个新的、更具挑战性的版本,在这个版本中,需要在长达三小时的多样化长视频中准确地对齐短暂的时间片段(通常持续几秒)。我们已在https://github.com/Soldelli/MAD发布了MAD的数据和基线代码


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供