HyperAIHyperAI

Command Palette

Search for a command to run...

AdaCoF:自适应流协作的视频帧插值

Hyeongmin Lee Taeoh Kim Tae-young Chung Daehyun Pak Yuseok Ban Sangyoun Lee

摘要

视频帧插值是视频处理研究中最具挑战性的任务之一。近年来,许多基于深度学习的研究被提出。大多数这些方法专注于寻找包含有用信息的位置,以利用其自身的帧扭曲操作来估计每个输出像素。然而,许多方法存在自由度(Degrees of Freedom, DoF)限制,无法处理现实世界视频中的复杂运动。为了解决这一问题,我们提出了一种新的扭曲模块——自适应流协作(Adaptive Collaboration of Flows, AdaCoF)。我们的方法为每个目标像素估计核权重和偏移向量,以合成输出帧。与其他方法相比,AdaCoF 是最通用的扭曲模块之一,并且涵盖了它们中的大多数作为其特殊情况。因此,它可以处理广泛复杂的运动域。为了进一步改进我们的框架并生成更加逼真的输出,我们引入了仅适用于视频帧插值任务的双帧对抗损失(dual-frame adversarial loss)。实验结果表明,我们的方法在固定训练集环境和 Middlebury 基准测试中均优于现有的最先进方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供