摘要
通常，低分辨率视频的超分辨率重建可通过单帧超分辨率（Single-Image Super-Resolution, SR）或多帧超分辨率（Multi-Frame SR）方法实现。单帧SR独立处理每一视频帧，忽略了视频帧之间固有的时间依赖性，而这种时间依赖性在视频超分辨率任务中实际上起着至关重要的作用。多帧SR通常通过提取运动信息（如光流）来建模时间依赖性，但此类方法往往计算开销较高。考虑到循环神经网络（Recurrent Neural Network, RNN）能够有效建模时间序列的长期上下文信息，本文提出一种基于双向循环卷积网络的高效多帧超分辨率方法。与传统的RNN不同，本方法具有以下两个关键改进：1）将常用的循环全连接结构替换为权重共享的卷积连接；2）在前序输入层与当前隐藏层之间引入条件卷积连接，以增强视觉-时间依赖性的建模能力。得益于强大的时间依赖性建模能力，所提模型能够有效处理具有复杂运动的视频序列，并取得当前最优的性能表现。同时，由于采用计算成本低廉的卷积操作，该模型具有较低的计算复杂度，运行速度比其他多帧方法快数个数量级。