TransWeather：基于Transformer的恶劣天气条件下退化图像恢复

从图像中去除诸如雨、雾和雪等不利天气条件是一个在许多应用中都十分重要的问题。文献中提出的大多数方法都是针对单一类型的退化进行设计的。最近，提出了一种基于卷积神经网络（CNN）的方法，利用神经架构搜索（All-in-One），可以一次性去除所有天气条件。然而，该方法由于使用了多个编码器来应对每种天气去除任务，参数量较大，且其性能仍有提升空间。在这项工作中，我们致力于开发一种高效的解决方案来解决所有不利天气条件的去除问题。为此，我们提出了TransWeather，这是一种基于变压器的端到端模型，仅使用一个编码器和一个解码器即可恢复受任何天气条件影响的图像。具体而言，我们利用了一种新颖的变压器编码器，通过使用片内变压器块（intra-patch transformer blocks）增强了片内的注意力机制，从而有效去除较小的天气退化。我们还引入了一个带有可学习天气类型嵌入的变压器解码器，以适应当前的具体天气退化情况。TransWeather在多个测试数据集上均优于All-in-One网络以及针对特定任务微调的方法。此外，TransWeather还在真实世界的测试图像上进行了验证，并被证明比先前的方法更为有效。实现代码可在https://github.com/jeya-maria-jose/TransWeather 获取。