2 个月前

深度视频修复

Dahun Kim; Sanghyun Woo; Joon-Young Lee; In So Kweon
深度视频修复
摘要

视频修复旨在用合理的内容填充视频中的时空空洞。尽管深度神经网络在图像修复方面取得了巨大进展,但由于时间维度的增加,将这些方法扩展到视频领域仍然具有挑战性。在这项工作中,我们提出了一种用于快速视频修复的新型深度网络架构。该框架基于图像编码器-解码器模型构建,设计用于从邻近帧中收集和精炼信息,并合成未知区域。同时,通过递归反馈机制和时间记忆模块来确保输出的时间一致性。与最先进的图像修复算法相比,我们的方法生成的视频在语义上更加准确且时间上更加平滑。与依赖耗时优化的传统视频补全方法不同,我们的方法能够在接近实时的情况下生成具有竞争力的视频结果。最后,我们将该框架应用于视频重定向任务,并获得了视觉效果令人满意的成果。

深度视频修复 | 最新论文 | HyperAI超神经