基于参考的数字化模拟录像带修复

模拟磁带数十年来一直是视频数据存储的主要设备。存储在模拟录像带上的视频由于磁带老化和读取设备故障而表现出独特的退化模式，这些模式与电影和数字视频修复任务中观察到的退化模式不同。在这项工作中，我们提出了一种基于参考的方法，用于数字化模拟录像带（TAPE）的修复。我们利用CLIP进行零样本缺陷检测，通过描述不同缺陷的文字提示来识别每段视频中最干净的帧。然后，我们选择与输入帧最相似的干净帧作为参考帧。我们设计了一个基于Transformer的Swin-UNet网络，该网络通过我们的多参考空间特征融合（MRSFF）模块利用相邻帧和参考帧。MRSFF模块依赖于交叉注意力和注意力池化机制，以充分利用每个参考帧中最有效的部分。为了应对现实世界视频中缺乏真实数据的问题，我们创建了一个合成数据集，其中包含与模拟录像带中常见的缺陷非常相似的视频。定量和定性实验均表明，我们的方法相比其他最先进的方法具有更高的有效性。代码、模型和合成数据集已公开发布在https://github.com/miccunifi/TAPE。