
摘要
视频修复旨在填补视频中缺失的区域,但由于难以保持视频内容在空间和时间上的精确一致性,这一任务仍然具有挑战性。在这项工作中,我们提出了一种新颖的基于光流引导的视频修复方法。与直接填充每一帧的RGB像素不同,我们将视频修复视为一个像素传播问题。首先,我们使用新设计的深度光流补全网络(Deep Flow Completion network)合成了跨越视频帧的空间和时间连贯的光流场。然后,利用合成的光流场来指导像素的传播,以填补视频中的缺失区域。具体而言,深度光流补全网络遵循从粗到精的细化过程来完成光流场,而通过挖掘困难的光流样例进一步提高了其质量。根据完成后的光流引导,可以精确地填补缺失的视频区域。我们的方法在DAVIS和YouTube-VOS数据集上进行了定性和定量评估,结果表明该方法在修复质量和速度方面均达到了当前最佳水平。