Adaptation intra-domain non supervisée pour la segmentation sémantique par auto-supervision

Les approches fondées sur les réseaux de neurones convolutifs ont connu des progrès remarquables en segmentation sémantique. Toutefois, ces méthodes reposent fortement sur des données annotées, qui sont coûteuses en termes de main-d’œuvre. Pour surmonter cette limitation, des données automatiquement annotées générées à partir de moteurs graphiques sont utilisées pour entraîner des modèles de segmentation. Toutefois, les modèles entraînés sur des données synthétiques peinent à être transférés vers des images réelles. Pour atténuer ce problème, les travaux antérieurs ont envisagé une adaptation directe des modèles à partir des données sources vers les données cibles non étiquetées (afin de réduire l’écart entre domaines). Néanmoins, ces techniques ne tiennent pas compte de l’écart de distribution important existant au sein même des données cibles (écart intra-domaine). Dans ce travail, nous proposons une approche d’adaptation de domaine auto-supervisée en deux étapes visant à minimiser simultanément l’écart inter-domaine et l’écart intra-domaine. Premièrement, nous réalisons l’adaptation inter-domaine du modèle ; à partir de cette adaptation, nous divisons le domaine cible en deux parties — une partie facile et une partie difficile — à l’aide d’une fonction de classement basée sur l’entropie. Enfin, pour réduire l’écart intra-domaine, nous proposons d’appliquer une technique d’adaptation auto-supervisée allant de la partie facile vers la partie difficile. Les résultats expérimentaux sur de nombreuses bases de données standard mettent en évidence l’efficacité de notre méthode par rapport aux approches de pointe existantes. Le code source est disponible à l’adresse suivante : https://github.com/feipan664/IntraDA.git.