18 天前

BMBC:基于双边代价体的双边运动估计用于视频插值

{Chang-Su Kim, Keunsoo Ko, Junheum Park, Chul Lee}
BMBC:基于双边代价体的双边运动估计用于视频插值
摘要

视频插值通过在两个连续帧之间合成中间帧,提升视频序列的时序分辨率。本文提出一种基于双侧运动估计的新型深度学习视频插值算法。首先,我们设计了双侧运动网络,并引入双侧代价体(bilateral cost volume),以实现对双侧运动的精确估计。随后,通过近似双向运动,预测出一种新型的双侧运动模式。接着,利用估计得到的双侧运动对两帧输入图像进行几何变换(图像扭曲)。在此基础上,我们进一步构建了动态滤波器生成网络,用于生成动态融合滤波器。最后,通过动态融合滤波器将扭曲后的帧进行加权融合,生成中间帧。实验结果表明,所提出的算法在多个基准数据集上均优于当前最先进的视频插值方法。