14 天前

VideoGigaGAN:迈向细节丰富的视频超分辨率

Yiran Xu, Taesung Park, Richard Zhang, Yang Zhou, Eli Shechtman, Feng Liu, Jia-Bin Huang, Difan Liu
VideoGigaGAN:迈向细节丰富的视频超分辨率
摘要

视频超分辨率(Video Super-Resolution, VSR)方法在生成高分辨率视频时已展现出令人印象深刻的时序一致性。然而,由于生成能力受限,这些方法生成的视频往往比其图像超分辨率 counterparts 更加模糊。这一现象引发了一个根本性问题:我们能否在保持时序一致性的前提下,将生成式图像超分辨率方法的成功扩展至视频超分辨率任务?为此,我们提出了 VideoGigaGAN——一种新型生成式视频超分辨率模型,能够生成具备高频细节与良好时序一致性的视频。VideoGigaGAN 基于大规模图像超分辨率模型 GigaGAN 构建。若仅通过引入时序模块简单地将 GigaGAN 扩展为视频模型,将导致严重的时序闪烁问题。我们系统性地识别出多个关键问题,并提出一系列有效技术,显著提升了重建视频的时序一致性。实验结果表明,与以往的 VSR 方法不同,VideoGigaGAN 能够生成在时间上高度一致且包含更精细视觉细节的视频。我们在公开数据集上将 VideoGigaGAN 与当前最先进的 VSR 模型进行对比,并展示了实现 8 倍超分辨率的高质量视频结果,充分验证了该方法的有效性与优越性。

VideoGigaGAN:迈向细节丰富的视频超分辨率 | 最新论文 | HyperAI超神经