17 天前

基于高分辨率光流估计的深度视频超分辨率

Longguang Wang, Yulan Guo, Li Liu, Zaiping Lin, Xinpu Deng, Wei An
基于高分辨率光流估计的深度视频超分辨率
摘要

视频超分辨率(Video Super-Resolution, SR)旨在从低分辨率(Low-Resolution, LR)视频帧序列中生成具有合理且时序一致细节的高分辨率(High-Resolution, HR)帧序列。该任务的核心挑战在于有效建模连续帧之间的时序依赖关系。现有的基于深度学习的方法通常通过估计LR帧之间的光流来捕捉时序信息,然而,LR光流与HR输出之间存在的分辨率不匹配问题,严重制约了精细细节的恢复效果。本文提出一种端到端的视频超分辨率网络,同时对光流和图像进行超分辨率重建。通过从LR帧中恢复HR光流,可提供更精确的时序依赖关系,从而显著提升视频超分辨率的性能。具体而言,我们首先设计了一种分阶段的光流重建网络(Optical Flow Reconstruction network, OFRnet),采用从粗到细的策略推断HR光流。随后,利用HR光流进行运动补偿,以有效编码帧间时序信息。最后,将补偿后的LR输入送入超分辨率网络(SRnet),生成最终的超分辨率结果。大量实验验证了HR光流在提升超分辨率性能方面的有效性。在Vid4和DAVIS-10数据集上的对比实验结果表明,所提出的网络达到了当前最优的性能水平,显著优于现有方法。