摘要
在给定少量上下文（或历史）帧的情况下生成未来的视频帧是一项极具挑战性的任务，其核心在于建模视频的时间一致性，以及未来状态可能呈现的多模态特性。现有的视频生成变分方法通常对未来的多模态结果进行边缘化处理，难以充分捕捉潜在的多样化未来。为此，我们提出一种显式建模未来结果多模态性的方法，并利用该特性来采样多样化的未来序列。我们提出的Diverse Video Generator方法采用高斯过程（Gaussian Process, GP）来学习基于历史帧的未来状态先验，并在给定特定样本的情况下，维持对未来可能状态的概率分布。此外，我们通过分析该分布随时间的变化，来控制多样化未来状态的采样过程，具体实现方式是估计当前序列的结束时刻。具体而言，我们利用高斯过程在输出函数空间上的方差来触发动作序列的改变。实验结果表明，该方法在生成未来帧的重建质量与生成序列的多样性方面均达到了当前最优水平。