2 个月前

协作反馈判别传播用于视频超分辨率

Hao Li; Xiang Chen; Jiangxin Dong; Jinhui Tang; Jinshan Pan
协作反馈判别传播用于视频超分辨率
摘要

现有视频超分辨率(VSR)方法的成功主要归功于探索空间和时间信息,这通常通过一个带有对齐模块的递归传播模块来实现。然而,不准确的对齐通常会导致对齐特征出现显著的伪影,这些伪影在传播过程中会被累积,从而影响视频恢复的质量。此外,传播模块仅向前或向后传播相同时间步的特征,在复杂运动或遮挡的情况下可能会失败,限制了其在高质量帧恢复中的性能。为了解决这些问题,我们提出了一种协作反馈判别(CFD)方法,用于纠正不准确的对齐特征并建模长距离的空间和时间信息,以实现更好的视频重建。具体而言,我们开发了一种判别对齐校正(DAC)方法,自适应地探索信息并减少由不准确对齐引起的伪影的影响。然后,我们提出了一种协作反馈传播(CFP)模块,该模块利用反馈和门控机制同时更好地探索前向和后向传播中不同时间步特征的空间和时间信息。最后,我们将所提出的DAC和CFP嵌入常用的VSR网络中,以验证我们方法的有效性。在多个基准数据集上的定量和定性实验表明,我们的方法可以在保持较低模型复杂度的同时提高现有VSR模型的性能。源代码和预训练模型将在以下网址提供:\url{https://github.com/House-Leo/CFDVSR}。

协作反馈判别传播用于视频超分辨率 | 最新论文 | HyperAI超神经