MAD：一个基于电影音频描述的视频语言对齐的可扩展数据集

近年来，视频语言研究领域的兴趣日益增加，推动了大规模数据集的开发，这些数据集使得数据密集型机器学习技术得以实现。相比之下，对于这些数据集在视频语言对齐任务中的适用性评估却投入较少。近期的研究开始揭示这些数据集中存在的显著局限性，表明当前最先进的技术通常会过度拟合到数据集中的隐性偏差。在这项工作中，我们提出了MAD（Movie Audio Descriptions），这是一个全新的基准测试，它不同于以往通过为现有视频数据集添加文本注释的方法，而是专注于爬取和对齐主流电影中可用的音频描述。MAD包含超过384,000个自然语言句子，覆盖了超过1,200小时的视频，并且在目前诊断出的视频语言对齐数据集偏差方面表现出显著减少。MAD的数据收集策略使得视频语言对齐任务有了一个新的、更具挑战性的版本，在这个版本中，需要在长达三小时的多样化长视频中准确地对齐短暂的时间片段（通常持续几秒）。我们已在https://github.com/Soldelli/MAD发布了MAD的数据和基线代码。