17 天前

EXTRACTER:基于注意力与梯度增强的高效纹理匹配用于大规模图像超分辨率

Esteban Reyes-Saldana, Mariano Rivera
EXTRACTER:基于注意力与梯度增强的高效纹理匹配用于大规模图像超分辨率
摘要

近期基于参考图像的图像超分辨率(RefSR)方法通过引入注意力机制,显著提升了现有深度学习方法的性能,其核心思想是利用参考高分辨率图像中的高分辨率纹理信息来增强低分辨率图像。具体而言,该方法在特征空间中对低分辨率图像与参考图像的图像块进行匹配,并通过深度网络架构实现融合。然而,现有方法在纹理匹配的准确性方面仍存在不足:它们通常将图像划分为尽可能多的图像块,导致内存使用效率低下,难以处理大尺寸图像。为此,本文提出一种更为高效的深度搜索策略,显著减少了图像块的数量,同时针对每个低分辨率图像块,在高分辨率参考图像块中精准地检索出最相关的 $k$ 个纹理匹配项,从而实现更精确的纹理匹配。此外,我们通过引入一种简单的残差结构,融合梯度密度信息以进一步提升超分辨率效果,在性能指标上表现出色,PSNR 和 SSIM 均达到具有竞争力的水平。