17 天前
IFRNet:用于高效帧插值的中间特征精炼网络
Lingtong Kong, Boyuan Jiang, Donghao Luo, Wenqing Chu, Xiaoming Huang, Ying Tai, Chengjie Wang, Jie Yang

摘要
现有的视频帧插值算法通常通过连续输入帧生成中间帧,但其普遍依赖复杂的模型架构与庞大的参数量,或存在较大的延迟,限制了其在多样化实时应用场景中的部署。本文提出一种高效且基于编码器-解码器结构的网络框架,命名为IFRNet,用于快速生成中间帧。该方法首先从输入帧中提取多尺度特征,随后通过逐步优化双边中间光流场与中间特征表示,最终生成目标输出。逐步精细化的中间特征不仅有助于提升中间光流的估计精度,还能有效补全上下文细节信息,从而使IFRNet无需额外的合成或后处理模块即可实现高质量输出。为进一步释放模型潜力,我们提出一种新型面向任务的光流蒸馏损失函数,聚焦于提取对帧插值任务具有实际价值的教师模型知识。同时,引入一种新的几何一致性正则化项,作用于逐步优化的中间特征,以保持更优的结构布局。在多个公开基准数据集上的实验结果表明,所提方法在性能与推理速度方面均表现出色。代码已开源,地址为:https://github.com/ltkong218/IFRNet。