摘要
由于低分辨率（LR）图像中存在显著的信息损失，进一步提升单幅图像超分辨率（SISR）的最先进水平变得极其困难。相比之下，基于参考的超分辨率（RefSR）在提供与LR输入图像内容相似的参考（Ref）图像时，已被证明在恢复高分辨率（HR）细节方面具有巨大潜力。然而，当参考图像与输入图像相似度较低时，RefSR的质量会严重下降。本文旨在通过从参考图像中提取更多纹理细节并增强鲁棒性来释放RefSR的潜力，即使提供的参考图像是不相关的也能保持较好的效果。受近期关于图像风格化工作的启发，我们将RefSR问题表述为神经纹理迁移。我们设计了一个端到端的深度模型，该模型通过根据参考图像的纹理相似度自适应地迁移纹理来丰富HR细节。与以往方法在原始像素空间进行内容匹配不同，我们的主要贡献在于在神经空间中进行多层次匹配。这种匹配方案促进了多尺度神经迁移，使得模型能够更好地利用那些语义相关的参考图像块，并且在最不相关的参考输入上优雅地退化为SISR性能。我们构建了一个基准数据集用于一般性的RefSR研究，其中包含与LR输入配对且相似度不同的参考图像。定量和定性评估均表明我们的方法优于现有最先进技术。