TransWeather : Restauration d'images dégradées par des conditions météorologiques défavorables

La suppression des conditions météorologiques défavorables telles que la pluie, le brouillard et la neige dans les images est un problème important dans de nombreuses applications. La plupart des méthodes proposées dans la littérature ont été conçues pour éliminer un seul type de dégradation. Récemment, une méthode basée sur les CNN utilisant une recherche d'architecture neuronale (All-in-One) a été proposée pour supprimer toutes les conditions météorologiques en une seule fois. Cependant, cette méthode possède un grand nombre de paramètres car elle utilise plusieurs encodeurs pour chaque tâche de suppression des conditions météorologiques, et il reste encore des possibilités d'amélioration de ses performances. Dans ce travail, nous nous concentrons sur le développement d'une solution efficace au problème de suppression de toutes les conditions météorologiques défavorables. À cet effet, nous proposons TransWeather, un modèle end-to-end basé sur les transformers avec seulement un encodeur et un décodeur capables de restaurer une image dégradée par n'importe quelle condition météorologique. Plus précisément, nous utilisons un nouvel encodeur transformer avec des blocs transformer intra-patch pour améliorer l'attention à l'intérieur des patches afin d'éliminer efficacement les petites dégradations météorologiques. Nous introduisons également un décodeur transformer avec des embeddings de type météorologique apprenables pour s'adapter à la dégradation météorologique en cours. TransWeather réalise des améliorations sur plusieurs jeux de données de test par rapport au réseau All-in-One ainsi qu'aux méthodes affinées pour des tâches spécifiques. TransWeather a également été validé sur des images réelles de test et s'est avéré plus efficace que les méthodes précédentes. Le code d'implémentation peut être consulté à l'adresse suivante : https://github.com/jeya-maria-jose/TransWeather .