2 个月前

面向任务的视频增强

Tianfan Xue; Baian Chen; Jiajun Wu; Donglai Wei; William T. Freeman
面向任务的视频增强
摘要

许多视频增强算法依赖光流来对视频序列中的帧进行配准。然而,精确的光流估计是难以实现的;而且光流本身通常对于特定的视频处理任务来说是一种次优表示。在本文中,我们提出了一种面向任务的光流(TOFlow),这是一种以自监督、任务特定的方式学习到的运动表示方法。我们设计了一个包含可训练运动估计组件和视频处理组件的神经网络,并联合训练这两个组件以学习面向任务的光流。为了评估,我们构建了Vimeo-90K,一个大规模、高质量的低级视频处理数据集。在三个视频处理任务中——帧插值、视频去噪/去块效应以及视频超分辨率——TOFlow 在标准基准测试及我们的 Vimeo-90K 数据集上均优于传统的光流方法。