时空自适应滤波网络用于视频去模糊

视频去模糊是一项具有挑战性的任务，因为相机抖动、物体运动和深度变化等因素会导致空间变化的模糊。现有的方法通常通过估计模糊视频中的光流来对齐连续帧或近似模糊核。然而，当估计的光流不准确时，这些方法往往会生成伪影或无法有效去除模糊。为了克服单独进行光流估计的局限性，我们提出了一种时空滤波器自适应网络（Spatio-Temporal Filter Adaptive Network, STFAN），该网络在一个统一的框架中实现对齐和去模糊。所提出的STFAN以当前帧的模糊图像以及前一帧的模糊和恢复图像作为输入，并动态生成用于对齐和去模糊的空间自适应滤波器。接着，我们提出了新的滤波器自适应卷积（Filter Adaptive Convolutional, FAC）层，用于将前一帧的去模糊特征与当前帧对齐，并从当前帧的特征中去除空间变化的模糊。最后，我们开发了一个重建网络，该网络利用两个转换后的特征融合来恢复清晰的帧。基准数据集和真实世界视频上的定量和定性评估结果表明，所提出的算法在准确性、速度和模型大小方面均优于现有最先进方法。