MEMC-Net：基于运动估计和运动补偿的神经网络用于视频插值和增强

运动估计（ME）和运动补偿（MC）在过去几十年中已被广泛应用于经典的视频帧插值系统。近年来，基于卷积神经网络的数据驱动帧插值方法得到了提出。然而，现有的基于学习的方法通常仅估计光流或补偿核，这在计算效率和插值精度方面都限制了性能。在这项工作中，我们提出了一种由运动估计和补偿驱动的神经网络用于视频帧插值。开发了一种新颖的自适应变形层，将光流和插值核结合起来以合成目标帧像素。该层完全可微分，因此可以联合优化光流和核估计网络。所提出的模型充分利用了运动估计和补偿方法的优势，而无需使用手工设计的特征。与现有方法相比，我们的方法在计算上更为高效，并且能够生成更具视觉吸引力的结果。此外，所提出的MEMC-Net可以无缝适应多种视频增强任务，例如超分辨率、去噪和去块效应。广泛的定量和定性评估表明，在各种数据集上，所提出的方法在最先进的视频帧插值和增强算法中表现优异。