2 个月前

面向端到端的流导向视频修复框架

Zhen Li; Cheng-Ze Lu; Jianhua Qin; Chun-Le Guo; Ming-Ming Cheng
面向端到端的流导向视频修复框架
摘要

光流(optical flow)捕捉了帧间运动信息,在最近的视频修复方法中通过沿其轨迹传播像素来利用这一特性。然而,这些方法中的手工设计的基于光流的过程是分别应用的,形成了整个修复流水线。因此,这些方法效率较低,并且严重依赖早期阶段产生的中间结果。在本文中,我们提出了一种端到端的流导向视频修复框架(E$^2$FGVI),通过精心设计的三个可训练模块实现,即光流补全模块、特征传播模块和内容生成模块。这三个模块对应于先前基于光流的方法中的三个阶段,但可以联合优化,从而实现更高效和有效的修复过程。实验结果表明,所提出的方法在定性和定量方面均优于现有最先进方法,并展示了良好的效率。代码可在 https://github.com/MCG-NKU/E2FGVI 获取。

面向端到端的流导向视频修复框架 | 最新论文 | HyperAI超神经