SeedVR2：通过扩散对抗后训练实现一步视频修复

近期基于扩散模型的视频修复（VR）技术展示了显著的视觉质量提升，但在推理过程中却带来了高昂的计算成本。尽管一些基于蒸馏的方法在单步图像修复方面展现出潜力，但将现有方法扩展到视频修复领域仍然具有挑战性且研究不足，尤其是在处理现实场景中的高分辨率视频时。在这项工作中，我们提出了一种单步扩散模型的视频修复方法，命名为SeedVR2，该模型通过对抗真实数据进行训练以实现视频修复。为了在单个步骤中应对高分辨率视频修复的挑战，我们在模型架构和训练流程上引入了若干改进措施。具体而言，我们提出了一种自适应窗口注意力机制，其中窗口大小根据输出分辨率动态调整，从而避免了在高分辨率视频修复中使用预定义窗口大小时出现的窗口不一致性问题。为了稳定并提高对抗后训练对视频修复的效果，我们进一步验证了一系列损失函数的有效性，包括一种新提出的特征匹配损失（feature matching loss），并且不会显著牺牲训练效率。大量实验表明，SeedVR2能够在单步内实现与现有视频修复方法相当甚至更好的性能。