2 个月前
AdaCoF:自适应流协作的视频帧插值
Hyeongmin Lee; Taeoh Kim; Tae-young Chung; Daehyun Pak; Yuseok Ban; Sangyoun Lee

摘要
视频帧插值是视频处理研究中最具挑战性的任务之一。近年来,许多基于深度学习的研究被提出。大多数这些方法专注于寻找包含有用信息的位置,以利用其自身的帧扭曲操作来估计每个输出像素。然而,许多方法存在自由度(Degrees of Freedom, DoF)限制,无法处理现实世界视频中的复杂运动。为了解决这一问题,我们提出了一种新的扭曲模块——自适应流协作(Adaptive Collaboration of Flows, AdaCoF)。我们的方法为每个目标像素估计核权重和偏移向量,以合成输出帧。与其他方法相比,AdaCoF 是最通用的扭曲模块之一,并且涵盖了它们中的大多数作为其特殊情况。因此,它可以处理广泛复杂的运动域。为了进一步改进我们的框架并生成更加逼真的输出,我们引入了仅适用于视频帧插值任务的双帧对抗损失(dual-frame adversarial loss)。实验结果表明,我们的方法在固定训练集环境和 Middlebury 基准测试中均优于现有的最先进方法。