基于循环一致性的无监督视频插值

通过插值学习合成高帧率视频需要大量的高帧率训练视频，然而这些视频资源稀缺，尤其是在高分辨率下。本文提出了一种利用循环一致性从低帧率视频直接合成高帧率视频的无监督技术。对于连续的三帧图像，我们优化模型以最小化中间帧与其循环重建之间的差异，该循环重建是通过对插值生成的中间帧进行反向插值得到的。仅凭这一简单的无监督约束条件，即可实现与使用真实中间帧监督相当的结果。为进一步提高性能，我们引入了一个伪监督损失项，该损失项强制插值生成的中间帧与预训练插值模型的预测结果保持一致。结合循环一致性使用伪监督损失项，可以有效地将预训练模型适应到新的目标域。在无需额外数据且完全无监督的情况下，我们的技术显著提升了预训练模型在新目标域上的表现，在Slowflow评估数据集上PSNR值从32.84dB提升至33.05dB，在Sintel评估数据集上PSNR值从31.82dB提升至32.53dB。