学习扩散模型中的空间自适应和时间一致性以实现视频超分辨率

扩散模型正处于图像超分辨率任务的转折点。然而，利用扩散模型进行视频超分辨率并非易事，这不仅需要从低分辨率视频到高分辨率视频的过程中保持视觉外观的一致性，还需要确保视频帧之间的时序一致性。在本文中，我们提出了一种新颖的方法——空间自适应与时序连贯性（SATeCo），用于视频超分辨率。SATeCo 的核心在于从低分辨率视频中学习时空引导，以校准潜在空间中的高分辨率视频去噪和像素空间中的视频重建。具体而言，SATeCo 冻结了预训练 UNet 和 VAE 的所有参数，仅优化了两个精心设计的空间特征自适应（SFA）和时序特征对齐（TFA）模块，这些模块分别位于 UNet 和 VAE 的解码器中。SFA 通过为每个像素自适应地估计仿射参数来调节帧特征，确保了高分辨率帧合成的逐像素引导。TFA 则通过自注意力机制深入研究三维局部窗口（tubelet）内的特征交互，并在 tubelet 及其低分辨率对应部分之间执行交叉注意力，以指导时序特征对齐。我们在 REDS4 和 Vid4 数据集上进行了大量实验，结果证明了我们方法的有效性。