摘要
我们提出了一种基于学习的框架——循环变换网络（Recurrent Transformer Network, RTN），用于修复严重退化的老电影。与逐帧修复不同，我们的方法基于从相邻帧中学习到的隐含知识，这些帧包含大量关于遮挡的信息，有助于在确保时间连贯性的同时修复每帧中的挑战性缺陷。此外，通过对比当前帧的表示与隐含知识，可以以无监督的方式推断出划痕的位置，这种缺陷定位对现实世界中的退化具有很好的泛化能力。为了更好地解决混合退化问题并补偿在帧对齐过程中出现的光流估计误差，我们提出利用更具表现力的变换器模块进行空间修复。实验结果表明，在合成数据集和现实世界的老电影上，所提出的RTN相比现有解决方案具有显著的优势。此外，该框架还可以有效地将关键帧的颜色传播到整个视频中，最终生成令人信服的修复影片。相关实现代码和模型将在以下地址发布：https://github.com/raywzy/Bringing-Old-Films-Back-to-Life。