8 天前

用于图像修复的全核网络

{Alois Knoll, Wenqi Ren, Yuning Cui}
摘要

图像恢复旨在从退化的低质量观测中重建出高质量图像。近年来,由于Transformer模型在建模长距离依赖关系方面具有强大能力,其在图像恢复任务中取得了令人瞩目的性能。然而,其复杂度随输入尺寸呈二次增长,限制了其在实际应用中的可行性。为此,本文提出一种高效的卷积网络用于图像恢复,通过增强多尺度表征学习能力来提升性能。为此,我们设计了一个全核模块(omni-kernel module),该模块包含三个分支:全局分支、大核分支和局部分支,以高效地学习从全局到局部的特征表示。具体而言,全局分支通过双域通道注意力机制与频率门控机制实现全局感受野;为构建多粒度感受野,大核分支采用具有异常大核尺寸的不同形状深度可分离卷积进行建模;此外,我们利用点卷积(point-wise depth-wise convolution)补充局部细节信息。最终,将所提出的全核模块嵌入瓶颈层位置,构建出高效网络结构,命名为OKNet。大量实验表明,该网络在11个基准数据集上针对三种典型的图像恢复任务——图像去雾、图像去雪和图像失焦去模糊——均取得了当前最优的性能表现。代码已开源,地址为:https://github.com/c-yn/OKNet。

用于图像修复的全核网络 | 最新论文 | HyperAI超神经