DANNet : Un réseau de adaptation de domaine à une étape pour la segmentation sémantique non supervisée en nuit

La segmentation sémantique des images nocturnes joue un rôle tout aussi crucial que celle des images diurnes dans les systèmes de conduite autonome, mais elle est bien plus difficile en raison des faibles niveaux d’éclairage et des annotations humaines exigeantes. Dans cet article, nous proposons un nouveau réseau de adaptation de domaine (DANNet) pour la segmentation sémantique nocturne, sans recourir à des données d’images nocturnes étiquetées. Ce modèle utilise un apprentissage adversaire combinant un jeu de données diurnes étiquetées et un jeu de données non étiquetées comprenant des paires d’images jour-nuit grossièrement alignées. Plus précisément, pour les paires d’images jour-nuit non étiquetées, nous utilisons les prédictions au niveau des pixels des catégories d’objets statiques sur l’image diurne comme une supervision pseudo-étiquetée afin de segmenter l’image nocturne correspondante. Nous avons également conçu une stratégie de repondération pour atténuer les inexactitudes dues aux mauvaises correspondances entre paires jour-nuit et aux erreurs de prédiction sur les images diurnes, tout en améliorant la précision de la segmentation des objets de petite taille. Le DANNet proposé est le premier cadre d’adaptation en une seule étape pour la segmentation sémantique nocturne, ne nécessitant pas d’entraîner de modèles supplémentaires de transfert d’images jour-nuit en tant que phase préalable distincte. Des expériences étendues sur les jeux de données Dark Zurich et Nighttime Driving montrent que notre méthode atteint des performances de pointe dans la segmentation sémantique nocturne.