高质量的图像生成器是实现高分辨率视频合成的关键

图像与视频合成是两个密切相关的研究领域，其目标均是从噪声中生成内容。尽管在提升基于图像的生成模型以处理高分辨率、高质量渲染以及多样化图像内容方面已取得显著进展，但在实现可媲美图像生成效果的视频生成方面仍面临挑战。本文提出一种新框架，利用先进的图像生成器来合成高分辨率视频。我们将视频合成问题建模为在预训练且固定的图像生成器的潜在空间中寻找一条轨迹。该框架不仅能够生成高分辨率视频，而且在计算效率上比现有方法提升一个数量级。我们引入了一种运动生成器，用于发现所需的轨迹，其中内容与运动实现了分离。借助这种解耦表示，我们的框架支持多种应用，包括内容与运动的独立操控。此外，我们提出了一项新任务——跨域视频合成，即图像生成器与运动生成器分别在不同领域且互不重叠的数据集上进行训练。这一设计使得我们能够生成在目标视频数据不可用的情况下仍可实现的动态物体。在多个数据集上的大量实验表明，所提方法在性能上显著优于现有视频生成技术。相关代码将开源发布于 https://github.com/snap-research/MoCoGAN-HD。