Adaptation de modèle contrastif pour une robustesse cross-condition en segmentation sémantique

Les méthodes classiques d’adaptation de domaine non supervisée adaptent un modèle d’un domaine source vers un domaine cible en utilisant conjointement des données étiquetées du domaine source et des données non étiquetées du domaine cible. En revanche, dans l’adaptation de modèle, l’accès aux données étiquetées du domaine source est interdit : seuls le modèle entraîné sur le domaine source et des données non étiquetées du domaine cible sont disponibles. Nous étudions l’adaptation de modèle de conditions normales à des conditions défavorables pour la segmentation sémantique, dans un cadre où des correspondances au niveau des images sont disponibles dans le domaine cible. L’ensemble cible est composé de paires non étiquetées d’images de rues prises dans des conditions normales et défavorables à des emplacements géolocalisés identiques. Notre méthode, appelée CMA, exploite ces paires d’images pour apprendre des caractéristiques invariantes par rapport à la condition via une approche d’apprentissage contrastif. Plus précisément, CMA encourage les caractéristiques dans l’espace d’encodage à être regroupées selon leur contenu sémantique invariant par rapport à la condition, et non selon la condition sous laquelle les entrées ont été capturées. Pour obtenir des correspondances sémantiques précises entre domaines, nous déformons l’image normale afin de lui donner le point de vue de l’image défavorable, et utilisons des scores de confiance de déformation pour construire des caractéristiques robustes et agrégées. Grâce à cette approche, nous atteignons des performances de segmentation sémantique de pointe pour l’adaptation de modèle sur plusieurs benchmarks d’adaptation de conditions normales à défavorables, tels que ACDC et Dark Zurich. Nous évaluons également CMA sur un nouveau benchmark d’adaptation généralisée aux conditions défavorables, et rapportons des résultats favorables par rapport aux méthodes classiques d’adaptation de domaine non supervisée, malgré l’inconvénient comparatif de CMA dû à l’impossibilité d’accéder aux données source. Le code est disponible à l’adresse suivante : https://github.com/brdav/cma.