Tout sur la structure : Adaptation des informations structurales entre les domaines pour améliorer la segmentation sémantique

Dans cet article, nous abordons le problème de l'adaptation non supervisée de domaine pour la tâche de segmentation sémantique, où nous tentons de transférer les connaissances acquises à partir de jeux de données synthétiques avec des étiquettes de vérité terrain vers des images du monde réel sans aucune annotation. Partant de l'hypothèse que le contenu structuré des images est le facteur le plus informatif et décisif pour la segmentation sémantique et peut être facilement partagé entre les domaines, nous proposons un cadre d'Extraction de Structure Invariante au Domaine (DISE) pour décomposer les images en représentations structurées invariantes au domaine et en textures spécifiques au domaine. Ce cadre permet non seulement la traduction d'images entre différents domaines, mais aussi le transfert d'étiquettes afin d'améliorer les performances de segmentation. De nombreuses expériences montrent l'efficacité de notre modèle DISE proposé et démontrent sa supériorité par rapport à plusieurs approches de pointe.