摘要
近期在视频超分辨率领域的进展表明，卷积神经网络结合运动补偿能够融合多个低分辨率（LR）帧的信息，生成高质量图像。目前最先进的方法通过处理一批低分辨率帧来生成单个高分辨率（HR）帧，并在整个视频中以滑动窗口的方式运行该方案，实际上将问题视为大量独立的多帧超分辨率任务。这种方法存在两个主要弱点：1) 每个输入帧都需要多次处理和变形，增加了计算成本；2) 每个输出帧都是基于输入帧独立估计的，限制了系统生成时间上一致结果的能力。在本研究中，我们提出了一种端到端可训练的帧递归视频超分辨率框架，该框架利用先前推断出的高分辨率估计来对后续帧进行超分辨率处理。这自然促进了时间上的一致性结果，并通过在每一步仅变形一张图像减少了计算成本。此外，由于其递归性质，所提出的方法能够在不增加计算需求的情况下吸收大量之前的帧。广泛的评估和与先前方法的比较验证了我们方法的优势，并证明所提出的框架能够显著超越当前的技术水平。