具有引导变形注意力的循环视频修复变换器

视频修复旨在从多个低质量帧中恢复出多个高质量帧。现有的视频修复方法通常分为两种极端情况，即要么并行恢复所有帧，要么以递归方式逐帧恢复，这两种方法各有优缺点。前者的优势在于时间信息融合，但模型体积庞大且内存消耗严重；后者由于在不同帧之间共享参数，因此模型体积相对较小，然而它缺乏长距离依赖建模能力和并行处理能力。本文中，我们尝试通过提出一种递归视频修复变压器（Recurrent Video Restoration Transformer, RVRT）来整合这两种方法的优点。RVRT 在全局递归框架内并行处理局部相邻帧，从而在模型体积、效果和效率之间实现了良好的平衡。具体而言，RVRT 将视频划分为多个片段，并利用先前推断的片段特征来估计后续片段的特征。在每个片段内部，不同的帧特征通过隐式特征聚合进行联合更新。而在不同片段之间，则设计了引导变形注意力机制用于片段对齐，该机制从整个已推断的片段中预测多个相关位置，并通过注意力机制聚合这些位置的特征。大量实验表明，在视频超分辨率、去模糊和降噪任务上，所提出的 RVRT 在基准数据集上取得了最先进的性能，并且在模型体积、测试内存和运行时间方面达到了平衡。