基于空间注意力机制的单幅图像去雨方法及其高质量真实雨景数据集

从单张图像中去除雨痕引起了广泛关注，因为雨痕会严重降低图像质量并影响现有室外视觉任务的性能。尽管最近基于卷积神经网络（CNN）的去雨方法报告了令人鼓舞的结果，但去雨仍然是一个开放问题，原因有二。首先，现有的合成雨数据集在建模真实雨特征（如雨滴形状、方向和强度）方面仅具有有限的真实性。其次，缺乏针对真实雨图像的公开基准测试集进行定量比较，这使得当前的评估不够客观。核心挑战在于无法同时捕捉到真实世界中的带雨图像和无雨图像对。本文通过两种方法解决了单张图像去雨问题。首先，我们提出了一种半自动方法，该方法结合了时间先验和人工监督，可以从每个输入的真实带雨图像序列生成高质量的无雨图像。利用这种方法，我们构建了一个大规模的数据集，包含约29.5万对带雨/无雨图像，涵盖了广泛的自然降雨场景。其次，为了更好地覆盖真实雨痕的随机分布特性，我们提出了一种新的空间注意力网络（SPatial Attentive Network, SPANet），以局部到全局的方式去除雨痕。大量实验表明，我们的网络在性能上优于现有的最先进去雨方法。