通过交替优化实现可解释的视频超分辨率

本文研究了一个实用的空间-时间视频超分辨率（STVSR）问题，旨在从低帧率、低分辨率的模糊视频生成高帧率、高分辨率的清晰视频。此类问题通常发生在使用低帧率和低分辨率摄像机记录快速动态事件时，所捕捉的视频会遭受三个典型的问题：i) 由于曝光时间内物体或摄像机的运动，会产生运动模糊；ii) 当事件的时间频率超过时间采样的奈奎斯特极限时，不可避免地会出现运动混叠；iii) 由于空间采样率较低，高频细节会丢失。这些问题可以通过三个独立子任务的级联来缓解，包括视频去模糊、帧插值和超分辨率，但这种方法无法捕捉到视频序列中的空间和时间相关性。为了解决这一问题，我们提出了一种可解释的STVSR框架，结合了基于模型的方法和基于学习的方法。具体而言，我们将STVSR表述为一个联合视频去模糊、帧插值和超分辨率的问题，并以交替的方式解决这两个子问题。对于第一个子问题，我们推导出一个可解释的解析解，并将其用作傅里叶数据变换层。然后，我们提出了一个递归视频增强层来进一步恢复高频细节。大量实验表明，我们的方法在定量指标和视觉质量方面均具有优越性。