Adaptation de domaine avec curriculum guidé par la carte et évaluation sensible à l'incertitude pour la segmentation sémantique d'images nocturnes

Nous abordons le problème de la segmentation sémantique d'images nocturnes et améliorons l'état de l'art en adaptant des modèles entraînés sur des images diurnes à des conditions nocturnes, sans recourir à des annotations spécifiques pour les images nocturnes. En outre, nous proposons un nouveau cadre d'évaluation pour tenir compte de l'incertitude substantielle des sémantiques dans les images nocturnes. Nos contributions principales sont les suivantes : 1) un cadre pédagogique (curriculum) permettant d’adapter progressivement les modèles de segmentation sémantique du jour à la nuit, en passant par des moments de la journée de plus en plus sombres, en exploitant les correspondances entre les images diurnes d'une carte de référence et les images sombres pour guider l’inférence des étiquettes dans les domaines nocturnes ; 2) un nouveau cadre et une nouvelle métrique d’évaluation pour la segmentation sémantique prenant explicitement en compte l’incertitude, intégrant de manière rigoureuse des régions d’image au-delà de la capacité humaine de reconnaissance dans l’évaluation ; 3) le jeu de données Dark Zurich, composé de 2 416 images nocturnes non étiquetées et de 2 920 images crépusculaires non étiquetées, correspondant chacune à leurs homologues diurnes, ainsi qu’un ensemble de 201 images nocturnes étiquetées au niveau pixel avec une précision fine, générées selon notre protocole, servant ainsi au premier benchmark de notre évaluation novatrice. Les expérimentations montrent que notre adaptation guidée par carte surpasse significativement les méthodes de pointe sur les jeux de données nocturnes, tant selon les métriques standards que selon notre métrique prenant en compte l’incertitude. En outre, notre évaluation prenant en compte l’incertitude révèle que l’invalidation sélective des prédictions peut améliorer les performances sur des données à contenu ambigu, telles que notre benchmark, et offrir des bénéfices pour les applications orientées sécurité impliquant des entrées potentiellement invalides.