GODIVA：从自然描述生成开放域视频

从文本生成视频是一项极具挑战性的任务，其主要难点在于训练过程计算资源消耗巨大，且评估时存在无限多样的可能答案。现有研究通常局限于简单或小型数据集，导致模型的泛化能力较为有限。本文提出了一种名为GODIVA的开放域文本到视频预训练模型，该模型采用自回归方式生成视频，并引入三维稀疏注意力机制以提升效率与性能。我们在Howto100M这一大规模文本-视频数据集上对模型进行预训练，该数据集包含超过1.36亿个文本-视频配对样本。实验结果表明，GODIVA不仅可在下游视频生成任务中通过微调获得良好表现，还具备出色的零样本（zero-shot）生成能力，能够有效处理未见过的文本输入。此外，我们提出了一种新的自动评估指标——相对匹配度（Relative Matching, RM），用于更准确地衡量视频生成质量。文中还列举并讨论了若干未来研究方向所面临的技术挑战。