Refign : Aligner et Affiner pour l'Adaptation de la Segmentation Sémantique aux Conditions Défavorables

En raison de la rareté des annotations sémantiques pixel-par-pixel denses pour les images enregistrées dans des conditions visuelles défavorables, un intérêt croissant s’est porté sur l’adaptation de domaine non supervisée (UDA) pour la segmentation sémantique de telles images. L’UDA permet d’adapter des modèles entraînés dans des conditions normales aux domaines cibles caractérisés par des conditions visuelles défavorables. Parallèlement, plusieurs jeux de données contenant des scènes de conduite offrent des images correspondantes des mêmes scènes sous différentes conditions, ce qui peut servir de forme de supervision faible pour l’adaptation de domaine. Nous proposons Refign, une extension générique des méthodes d’UDA basées sur l’auto-entraînement, exploitant ces correspondances entre domaines. Refign se compose de deux étapes : (1) aligner l’image en conditions normales avec l’image correspondante en conditions défavorables à l’aide d’un réseau de correspondance dense sensible à l’incertitude, et (2) affiner la prédiction dans les conditions défavorables à l’aide de la prédiction en conditions normales via un mécanisme d’ajustement adaptatif des étiquettes. Nous avons conçu des modules spécifiques pour optimiser ces deux étapes, et établissons ainsi un nouveau record sur plusieurs benchmarks de segmentation sémantique adaptative aux conditions défavorables, notamment ACDC et Dark Zurich. Notre approche n’ajoute ni paramètre supplémentaire à l’entraînement, ni surcharge computationnelle significative – uniquement pendant l’entraînement – et peut être intégrée de manière directe comme extension à tout méthode d’UDA basée sur l’auto-entraînement. Le code est disponible à l’adresse suivante : https://github.com/brdav/refign.