17 天前

通道分区窗口化注意力与频率学习用于单图像超分辨率

Dinh Phu Tran, Dao Duy Hung, Daeyoung Kim
通道分区窗口化注意力与频率学习用于单图像超分辨率
摘要

近年来,基于窗口的注意力机制在计算机视觉任务中展现出巨大潜力,尤其在单图像超分辨率(Single Image Super-Resolution, SISR)任务中表现突出。然而,此类方法在捕捉远距离特征之间的长程依赖关系方面仍存在局限。此外,我们发现,仅在空间域进行学习无法有效表达图像的频率信息,而频率特性在SISR任务中至关重要。为解决上述问题,本文提出一种新型通道分割注意力变换器(Channel-Partitioned Attention Transformer, CPAT),通过沿特征图的高度和宽度方向逐次扩展窗口,更有效地建模长程依赖关系。同时,我们设计了一种新颖的空间-频率交互模块(Spatial-Frequency Interaction Module, SFIM),该模块融合空间域与频率域的信息,从而从特征图中提取更全面的表征,不仅包含频率成分信息,还显著扩展了模型在整个图像上的感受野。实验结果表明,所提出的模块与整体架构具有显著有效性。特别是在Urban100数据集上进行x2超分辨率重建时,CPAT性能超越当前最优方法,最高提升达0.31dB。