Command Palette
Search for a command to run...
MEMC-Net:基于运动估计与运动补偿驱动的视频帧插值与增强神经网络
MEMC-Net:基于运动估计与运动补偿驱动的视频帧插值与增强神经网络
Ming-Hsuan Yang Wei-Sheng Lai Zhiyong Gao Wenbo Bao Xiaoyun Zhang
摘要
运动估计(Motion Estimation, ME)与运动补偿(Motion Compensation, MC)在过去几十年中一直主导着传统的视频帧插值系统。近年来,卷积神经网络为帧插值任务建立了一种新的数据驱动范式。然而,现有的基于学习的方法通常仅对ME或MC中的一个构建模块进行估计,导致在计算效率和插值精度方面均存在局限性。本文提出了一种基于运动估计与运动补偿驱动的神经网络框架,用于视频帧插值。我们设计了一种新颖的自适应变形层(adaptive warping layer),能够融合光流信息与插值核,以合成目标帧的像素。该层完全可微,使得光流估计网络与插值核估计网络可联合优化。所提方法在保留ME与MC模型驱动架构优势的同时,通过在大规模视频数据上进行训练,避免了传统手工设计的局限性。与现有方法相比,本方法在计算效率上更具优势,并能生成更具视觉吸引力的插值结果。此外,我们的MEMC架构具有通用性,可无缝拓展至多种视频增强任务,如超分辨率、去噪和去块效应处理。大量定量与定性实验表明,所提出的方法在多个数据集上均显著优于当前最先进的视频帧插值与增强算法。