KBNet：用于图像恢复的核基网络

如何聚合空间信息在基于学习的图像恢复中起着至关重要的作用。现有的大多数基于卷积神经网络（CNN）的网络采用静态卷积核来编码空间信息，这无法实现自适应的空间信息聚合。最近基于变换器的架构实现了自适应的空间聚合，但它们缺乏卷积所需的归纳偏置，并且计算成本较高。在本文中，我们提出了一种核基注意力（Kernel Basis Attention, KBA）模块，该模块引入了可学习的核基来建模代表性图像模式以实现空间信息聚合。不同的核基被训练用于建模不同的局部结构。在每个空间位置，通过预测的像素级系数对这些核基进行线性和自适应融合，以获得聚合权重。基于KBA模块，我们进一步设计了一个多轴特征融合（Multi-Axis Feature Fusion, MFF）块，用于编码和融合通道级、空间不变和像素自适应特征，以实现图像恢复。我们的模型命名为核基网络（Kernel Basis Network, KBNet），在图像去噪、去雨和去模糊任务上超过十个基准测试中取得了最先进的性能，同时其计算成本低于之前的最先进方法。