HyperAIHyperAI

Command Palette

Search for a command to run...

面向平滑视频合成

Qihang Zhang Ceyuan Yang Yujun Shen Yinghao Xu Bolei Zhou

摘要

视频生成需要在时间上合成具有动态内容的一致性和持久性的帧。本研究探讨了使用生成对抗网络(GANs)建模时间关系,以组成任意长度的视频,从几帧到无限帧。首先,为了合成相邻帧,我们展示了单图像生成中的无混叠操作与充分预学习知识相结合,可以在不牺牲每帧质量的前提下实现平滑的帧过渡。其次,通过将原本用于视频理解的时间移位模块(Temporal Shift Module, TSM)引入判别器中,我们成功地提升了生成器在合成更一致动态方面的能力。第三,我们开发了一种基于B样条的新运动表示方法,以确保时间上的平滑性,从而实现无限长度的视频生成。该方法可以超越训练时使用的帧数。此外,还提出了一种低秩时间调制方法来缓解长视频生成中的重复内容问题。我们在多个数据集上评估了我们的方法,并显示了相对于视频生成基线模型的显著改进。代码和模型将在https://genforce.github.io/StyleSV 公开发布。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供