基于高效频域的Transformer用于高质量图像去模糊

我们提出了一种高效且有效的图像去模糊方法，该方法通过在频域中探索Transformer的特性，实现高质量的图像去模糊。该方法的动机源于卷积定理：两个信号在空间域中的相关性或卷积运算，等价于其在频域中的逐元素乘积。这一特性启发我们设计了一种基于频域的高效自注意力求解器（Frequency-domain-based Self-Attention Solver, FSAS），通过频域中的逐元素乘积操作来估计缩放点积注意力，而非在空间域中进行复杂的矩阵乘法运算。此外，我们观察到，直接在Transformer中使用传统的前馈网络（Feed-Forward Network, FFN）难以获得理想的去模糊效果。为解决这一问题，我们提出了一种简单而有效的判别性频域前馈网络（Discriminative Frequency-domain-based FFN, DFFN），该网络基于联合图像专家组（Joint Photographic Experts Group, JPEG）压缩算法引入了一种门控机制，能够有区别地判断特征中哪些低频与高频信息应被保留，以促进潜在清晰图像的恢复。我们将所提出的FSAS与DFFN整合为一种非对称网络结构，该结构基于编码器-解码器架构，其中FSAS仅应用于解码模块，以进一步提升去模糊性能。实验结果表明，所提方法在多项指标上均优于当前最先进的去模糊技术。代码将公开于 \url{https://github.com/kkkls/FFTformer}。