Apprentissage par dualité de cohérence hallucinée par style pour la segmentation sémantique généralisée de domaine

Dans cet article, nous étudions la tâche de segmentation sémantique généralisée du domaine synthétique vers le réel, dont l’objectif est d’apprendre un modèle robuste face à des scènes réelles inconnues à partir uniquement de données synthétiques. Le grand décalage de domaine entre les données synthétiques et les données réelles — notamment la faible variabilité environnementale dans les données sources et l’écart de distribution important entre les deux types de données — entrave considérablement les performances du modèle sur des scènes réelles inédites. Dans ce travail, nous proposons le cadre d’apprentissage SHADE (Style-HAllucinated Dual consistency learning), conçu pour atténuer ce décalage de domaine. Plus précisément, SHADE repose sur deux contraintes de cohérence : la cohérence de style (Style Consistency, SC) et la cohérence de rétrospection (Retrospection Consistency, RC). La SC enrichit les situations sources en encourageant le modèle à apprendre une représentation cohérente à travers des échantillons aux styles variés. La RC exploite les connaissances issues du monde réel afin de prévenir le surapprentissage aux données synthétiques, préservant ainsi une forte cohérence des représentations entre les modèles entraînés sur des données synthétiques et ceux sur des données réelles. Par ailleurs, nous introduisons un nouveau module de hallucination de style (Style Hallucination Module, SHM), conçu pour générer des échantillons aux styles diversifiés, essentiels à l’apprentissage par cohérence. Ce module sélectionne des styles de base à partir de la distribution source, permettant au modèle de générer dynamiquement des échantillons variés et réalistes durant l’entraînement. Les expériences montrent que notre méthode SHADE améliore significativement les performances, dépassant les méthodes de pointe de 5,05 % et 8,35 % en moyenne en mIoU sur trois jeux de données réelles, respectivement dans les configurations à source unique et à sources multiples.