Auto-formation bidirectionnelle avec plusieurs prototypes anisotropiques pour l'adaptation de domaine en segmentation sémantique

Une tendance en pleine expansion dans le domaine de l'adaptation de segmentation vise à générer des étiquettes pseudo-haute qualité pour le domaine cible et à réentraîner le segmenteur sur ces étiquettes. Dans ce paradigme d'auto-entraînement, certaines méthodes concurrentes ont cherché à exploiter les informations de l'espace latent, qui établissent les centroïdes de caractéristiques (aussi appelés prototypes) des classes sémantiques et déterminent les candidats aux étiquettes pseudo par leur distance à ces centroïdes. Dans cet article, nous soutenons que l'espace latent contient davantage d'informations à exploiter, et nous franchissons une étape supplémentaire pour en tirer parti. Premièrement, au lieu d'utiliser uniquement les prototypes du domaine source pour déterminer les étiquettes pseudo du domaine cible, comme la plupart des méthodes traditionnelles le font, nous produisons bidirectionnellement des prototypes du domaine cible afin d'affaiblir ceux des caractéristiques sources qui peuvent être trop complexes ou perturbées pour l'adaptation. Deuxièmement, les tentatives existantes modélisent simplement chaque catégorie par un prototype unique et isotrope, ignorant ainsi la variance de la distribution des caractéristiques, ce qui peut entraîner une confusion entre catégories similaires. Pour remédier à ce problème, nous proposons de représenter chaque catégorie par plusieurs prototypes anisotropes via un modèle de mélange gaussien (Gaussian Mixture Model), afin de s'adapter à la distribution effective du domaine source et d'estimer la probabilité des échantillons cibles basée sur la densité de probabilité. Nous appliquons notre méthode aux tâches GTA5→Cityscapes et Synthia→Cityscapes et obtenons respectivement 61,2 et 62,8 en termes de moyenne IoU (Intersection over Union), surpassant considérablement d'autres méthodes concurrentes d'auto-entraînement. Notamment, dans certaines catégories souffrant gravement de confusion catégorielle comme « camion » et « autobus », notre méthode atteint respectivement 56,4 et 68,8, ce qui démontre davantage l'efficacité de notre conception.