U2-Former：一种用于图像修复的嵌套U型Transformer

尽管Transformer在各类高级视觉任务中取得了显著性能，但在图像修复任务中充分发挥其潜力仍面临挑战。其核心问题在于：在典型的编码器-解码器框架下，Transformer的深度受限，主要归因于自注意力计算负担过重，以及不同层级（尺度）之间通信效率低下。本文提出一种深度且高效的基于Transformer的图像修复网络，命名为U2-Former，该网络能够以Transformer为核心操作，在深层的编码与解码空间中实现图像修复。具体而言，U2-Former采用嵌套的U型结构，促进不同尺度特征图之间的跨层交互。此外，为提升基本Transformer模块的计算效率，我们引入了一种特征过滤机制，对令牌（token）表示进行压缩。除传统的图像修复监督方式外，U2-Former还在多个层面引入对比学习策略，进一步实现噪声成分与背景图像的解耦。在多种图像修复任务（包括反射去除、雨痕去除与去雾）上的大量实验结果表明，所提出的U2-Former具有显著的有效性。