HyperAIHyperAI

Command Palette

Search for a command to run...

基于循环一致性的无监督视频插值

Fitsum A. Reda Deqing Sun* Aysegul Dundar Mohammad Shoeybi Guilin Liu Kevin J. Shih Andrew Tao Jan Kautz Bryan Catanzaro

摘要

通过插值学习合成高帧率视频需要大量的高帧率训练视频,然而这些视频资源稀缺,尤其是在高分辨率下。本文提出了一种利用循环一致性从低帧率视频直接合成高帧率视频的无监督技术。对于连续的三帧图像,我们优化模型以最小化中间帧与其循环重建之间的差异,该循环重建是通过对插值生成的中间帧进行反向插值得到的。仅凭这一简单的无监督约束条件,即可实现与使用真实中间帧监督相当的结果。为进一步提高性能,我们引入了一个伪监督损失项,该损失项强制插值生成的中间帧与预训练插值模型的预测结果保持一致。结合循环一致性使用伪监督损失项,可以有效地将预训练模型适应到新的目标域。在无需额外数据且完全无监督的情况下,我们的技术显著提升了预训练模型在新目标域上的表现,在Slowflow评估数据集上PSNR值从32.84dB提升至33.05dB,在Sintel评估数据集上PSNR值从31.82dB提升至32.53dB。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供