Dénouage des étiquettes pseudo-prototypiques et apprentissage de la structure cible pour la segmentation sémantique adaptative de domaine

L’auto-entraînement est une approche compétitive dans le cadre de la segmentation adaptative au domaine, qui entraîne le réseau à l’aide d’étiquettes pseudo-étiquetées sur le domaine cible. Toutefois, ces étiquettes pseudo-étiquetées sont inévitablement bruitées, et les caractéristiques du domaine cible sont dispersées en raison des écarts entre les domaines source et cible. Dans cet article, nous nous appuyons sur des prototypes représentatifs, c’est-à-dire les centroïdes de caractéristiques des classes, afin de traiter ces deux problèmes dans le cadre de l’adaptation de domaine non supervisée. Plus précisément, nous allons plus loin en exploitant les distances entre les caractéristiques et les prototypes, qui fournissent des informations plus riches que les prototypes seuls. En particulier, nous utilisons ces distances pour estimer la probabilité des pseudo-étiquettes, afin de faciliter leur correction en temps réel pendant l’entraînement. Parallèlement, nous alignons les affectations prototypiques basées sur les distances relatives entre caractéristiques pour deux vues différentes d’un même échantillon du domaine cible, ce qui permet d’obtenir un espace de caractéristiques cibles plus compact. En outre, nous constatons que la distillation des connaissances déjà acquises vers un modèle pré-entraîné de manière auto-supervisée améliore davantage les performances. Notre méthode présente un avantage considérable par rapport aux méthodes de pointe actuelles. Le code sera rendu disponible publiquement.