多尺度渐进融合网络用于单张图像去雨

由于雨丝在空间中距离相机远近不同，其在图像中呈现出不同程度的模糊与分辨率差异。在雨天图像及其多尺度（或多分辨率）版本中，可观察到相似的雨丝模式，这为利用这些互补信息进行雨丝表征提供了可能。本文从输入图像尺度与分层深度特征的视角出发，在统一框架下探索了雨丝的多尺度协同表征方法，提出了一种名为多尺度渐进融合网络（Multi-scale Progressive Fusion Network, MSPFN）的单幅图像去雨方法。针对不同位置上具有相似特征的雨丝，我们采用循环计算机制以捕捉全局纹理信息，从而在空间维度上挖掘互补与冗余信息，有效刻画目标雨丝特征。此外，我们构建了多尺度金字塔结构，并引入注意力机制，引导来自不同尺度的相关信息进行精细融合。该多尺度渐进融合策略不仅增强了特征的协同表示能力，也显著提升了端到端训练的效率与性能。所提方法在多个基准数据集上进行了广泛评估，取得了当前最优的去雨效果。进一步地，我们在联合去雨、检测与分割任务上开展了实验，启发了“视觉任务驱动的图像去雨”这一新的研究方向。相关源代码已公开，地址为：\url{https://github.com/kuihua/MSPFN}。