基于参考图像的超分辨率变形注意力变换器

基于参考的图像超分辨率（RefSR）旨在利用辅助参考（Ref）图像来提升低分辨率（LR）图像的分辨率。近年来，RefSR因其提供了一种超越单张图像超分辨率的方法而受到了广泛关注。然而，解决RefSR问题面临着两个关键挑战：(i) 当LR图像和Ref图像存在显著差异时，很难匹配它们之间的对应关系；(ii) 如何从Ref图像中转移相关纹理以补充LR图像的细节是一个非常具有挑战性的任务。为了解决这些RefSR问题，本文提出了一种多尺度可变形注意力Transformer模型，即DATSR，该模型由纹理特征编码器（TFE）模块、基于参考的可变形注意力（RDA）模块和残差特征聚合（RFA）模块组成。具体而言，TFE首先提取对图像变换（如亮度）不敏感的特征，用于LR图像和Ref图像；随后，RDA可以利用多个相关纹理来为LR特征补偿更多信息；最后，RFA将LR特征和相关纹理进行聚合，以获得更加视觉上令人满意的超分辨率结果。大量实验表明，我们的DATSR在基准数据集上无论是定量还是定性评估均达到了最先进的性能。