
摘要
生成自然图像的模型通过充分利用规模取得了高保真样本的进展。我们试图将这一成功推广到视频建模领域,通过展示在复杂的Kinetics-600数据集上训练的大规模生成对抗网络(Generative Adversarial Networks, GAN)能够生成比以往工作复杂度和保真度显著更高的视频样本。我们提出的模型——双视频判别器GAN(Dual Video Discriminator GAN, DVD-GAN)——通过利用其判别器的计算高效分解,扩展到了更长和更高分辨率的视频。我们在视频合成和视频预测相关任务上进行了评估,并在Kinetics-600数据集的预测任务中达到了新的Fréchet inception距离(FID)最佳成绩,同时在UCF-101数据集的合成任务中也取得了最佳的Inception分数,并为Kinetics-600数据集的合成任务建立了强大的基线。