基于多尺度双向传播的深度循环神经网络用于视频去模糊

当前最先进的视频去模糊方法的成功，主要源于对相邻帧之间对齐关系的隐式或显式估计，以实现潜在视频的恢复。然而，由于模糊效应的影响，从模糊的相邻帧中准确估计对齐信息并非易事。若对齐估计不准确，将严重影响后续帧的恢复效果。为此，我们提出一种简单而高效的深度循环神经网络——多尺度双向传播网络（Recurrent Neural Network with Multi-scale Bi-directional Propagation, RNN-MBP），无需显式估计对齐信息，即可有效传播并聚合来自未对齐邻近帧的信息，从而提升视频去模糊性能。具体而言，我们设计了一个多尺度双向传播（Multi-scale Bi-directional Propagation, MBP）模块，该模块由两个U-Net结构的循环神经网络（RNN）单元构成，能够通过在不同尺度上融合未对齐邻近隐藏状态的帧间信息，直接利用这些信息进行特征传播与整合。此外，为了更有效地评估所提出算法以及现有先进方法在真实世界模糊场景下的表现，我们还基于一个精心设计的数字视频采集系统（Digital Video Acquisition System, DVAS），构建了一个真实世界模糊视频数据集（Real-World Blurry Video Dataset, RBVD），并将其作为训练与评估的基准数据集。大量实验结果表明，所提出的RBVD数据集显著提升了现有算法在真实世界模糊视频上的性能表现；同时，所提出的RNN-MBP算法在三个典型基准测试中均优于当前最先进的方法。代码已开源，地址为：https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP。