17 天前

基于动态上采样滤波器的深度视频超分辨率网络(无需显式运动补偿)

{Younghyun Jo, Seoung Wug Oh, Seon Joo Kim, Jaeyeon Kang}
基于动态上采样滤波器的深度视频超分辨率网络(无需显式运动补偿)
摘要

视频超分辨率(Video Super-Resolution, VSR)近年来变得愈发重要,旨在为超高清显示设备提供高分辨率(High Resolution, HR)内容。尽管已有大量基于深度学习的VSR方法被提出,但大多数方法仍严重依赖运动估计与补偿的准确性。本文提出一种根本不同的VSR框架。我们设计了一种新颖的端到端深度神经网络,该网络能够根据每个像素的局部时空邻域动态生成上采样滤波器与残差图像,从而避免了显式的运动补偿过程。在该方法中,高分辨率图像直接通过动态上采样滤波器从输入图像重构得到,而细微细节则通过计算所得的残差图像进行补充。结合一种新型数据增强技术,所提出的网络在生成高分辨率视频时,不仅显著提升了图像锐度,还有效保持了时间一致性,相较以往方法具有明显优势。此外,我们通过大量实验对网络性能进行了深入分析,揭示了该网络如何隐式地处理运动信息。