HyperAIHyperAI

Command Palette

Search for a command to run...

Auto-formation bidirectionnelle avec plusieurs prototypes anisotropiques pour l'adaptation de domaine en segmentation sémantique

Résumé

Une tendance en pleine expansion dans le domaine de l'adaptation de segmentation vise à générer des étiquettes pseudo-haute qualité pour le domaine cible et à réentraîner le segmenteur sur ces étiquettes. Dans ce paradigme d'auto-entraînement, certaines méthodes concurrentes ont cherché à exploiter les informations de l'espace latent, qui établissent les centroïdes de caractéristiques (aussi appelés prototypes) des classes sémantiques et déterminent les candidats aux étiquettes pseudo par leur distance à ces centroïdes. Dans cet article, nous soutenons que l'espace latent contient davantage d'informations à exploiter, et nous franchissons une étape supplémentaire pour en tirer parti. Premièrement, au lieu d'utiliser uniquement les prototypes du domaine source pour déterminer les étiquettes pseudo du domaine cible, comme la plupart des méthodes traditionnelles le font, nous produisons bidirectionnellement des prototypes du domaine cible afin d'affaiblir ceux des caractéristiques sources qui peuvent être trop complexes ou perturbées pour l'adaptation. Deuxièmement, les tentatives existantes modélisent simplement chaque catégorie par un prototype unique et isotrope, ignorant ainsi la variance de la distribution des caractéristiques, ce qui peut entraîner une confusion entre catégories similaires. Pour remédier à ce problème, nous proposons de représenter chaque catégorie par plusieurs prototypes anisotropes via un modèle de mélange gaussien (Gaussian Mixture Model), afin de s'adapter à la distribution effective du domaine source et d'estimer la probabilité des échantillons cibles basée sur la densité de probabilité. Nous appliquons notre méthode aux tâches GTA5→Cityscapes et Synthia→Cityscapes et obtenons respectivement 61,2 et 62,8 en termes de moyenne IoU (Intersection over Union), surpassant considérablement d'autres méthodes concurrentes d'auto-entraînement. Notamment, dans certaines catégories souffrant gravement de confusion catégorielle comme « camion » et « autobus », notre méthode atteint respectivement 56,4 et 68,8, ce qui démontre davantage l'efficacité de notre conception.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp