通过帧间注意力机制提取运动与外观信息以实现高效的视频帧插值

有效提取视频帧间运动与外观信息对于视频帧插值（Video Frame Interpolation, VFI）至关重要。以往方法通常以混合方式同时提取两类信息，或为每类信息设计独立模块，导致表征模糊且计算效率低下。本文提出一种新型模块，通过统一操作显式分离并提取运动与外观信息。具体而言，我们重新思考帧间注意力机制中的信息传递过程，并复用其注意力图，分别用于外观特征增强与运动信息提取。此外，为实现高效VFI，所提模块可无缝集成至混合CNN与Transformer架构中。该混合架构在降低帧间注意力计算复杂度的同时，有效保留了底层细节结构信息。实验结果表明，无论在固定时间步长还是任意时间步长插值任务下，本方法在多个数据集上均达到当前最优性能。同时，相较于性能相近的模型，本方法具有更轻量的计算开销。源代码与预训练模型已开源，地址为：https://github.com/MCG-NJU/EMA-VFI。