基于深度感知的视频帧插值

视频帧插值旨在在原始帧之间合成不存在的帧。尽管最近的深度卷积神经网络取得了显著进展，但由于大物体运动或遮挡，插值质量常常会下降。在这项工作中，我们提出了一种视频帧插值方法，通过探索深度信息显式检测遮挡。具体而言，我们开发了一个深度感知流投影层（depth-aware flow projection layer），用于合成中间光流，优先采样较近的物体而非较远的物体。此外，我们学习了层次特征以从邻近像素中收集上下文信息。所提出的模型根据光流和局部插值核对输入帧、深度图和上下文特征进行变形，以合成输出帧。我们的模型紧凑、高效且完全可微分。定量和定性结果表明，所提出的模型在多种数据集上优于现有的最先进的帧插值方法。