随机对抗视频预测

能够预测未来可能发生的事情需要对支配世界的物理和因果规则有深入的理解。一个能够实现这一目标的模型在许多方面都具有吸引力的应用，从机器人规划到表征学习。然而，学习预测原始未来的观察结果（如视频中的帧）极具挑战性——问题的不确定性可能导致设计简单的模型将多种可能的未来平均化为单一、模糊的预测。最近，这个问题通过两种不同的方法得到了解决：(a) 显式建模潜在随机性的潜在变分变量模型；(b) 旨在生成自然图像的对抗训练模型。然而，标准的潜在变量模型在生成逼真结果方面可能会遇到困难，而标准的对抗训练模型则未能充分利用潜在变量，无法生成多样化的预测。我们证明了这两种方法实际上是互补的。将它们结合使用可以生成看起来更逼真且更好地覆盖各种可能未来的预测。我们的方法在这两个方面均优于先前和同期的研究工作。