摘要
通用视频摘要是一种简化的视频版本，能够传达整个故事并突出最重要的场景。然而，视频中场景的重要性往往是主观的，用户应当有选择自定义摘要的权利，通过自然语言指定对他们而言重要的内容。此外，现有的完全自动通用摘要模型尚未充分利用可用的语言模型，而这些语言模型可以作为显著性判断的有效先验知识。本研究引入了CLIP-It框架，该框架旨在解决通用摘要和查询导向摘要这两个通常在文献中分别处理的问题。我们提出了一种语言引导的多模态变压器模型，该模型能够根据帧之间的相对重要性和与用户定义的查询（针对查询导向摘要）或自动生成的密集视频字幕（针对通用视频摘要）的相关性来评分视频中的每一帧。我们的模型可以通过无监督的方式进行扩展，即在没有真实标签的情况下进行训练。我们在标准视频摘要数据集（TVSum和SumMe）以及查询导向视频摘要数据集（QFVS）上均显著优于基线和其他先前工作。特别是在迁移设置下，我们取得了显著的改进，证明了我们方法的强大泛化能力。