基于时间无关VQGAN与时间敏感Transformer的长视频生成

视频旨在表达情感、传递信息并分享体验。视频合成一直是研究人员长期关注的课题。尽管视觉合成技术的快速发展推动了该领域取得显著进展，但现有研究大多聚焦于提升单帧画面质量及帧间过渡的流畅性，而在生成长时视频方面进展有限。本文提出一种基于3D-VQGAN与Transformer架构的新方法，可生成包含数千帧的长视频。实验结果表明，仅使用UCF-101、Sky Time-lapse和Taichi-HD等标准数据集中的16帧视频片段进行训练，我们的模型即可生成多样化、连贯且高质量的长视频。此外，我们还展示了该方法的条件扩展版本，通过融合时间信息与文本、音频等模态数据，实现有意义的长视频生成。相关视频与代码已公开，详见：https://songweige.github.io/projects/tats/index.html。