SePiCo : Contraste de Pixels Guidé par la Sémantique pour l'Adaptation de Domaine en Segmentation Sémantique

L'adaptation de domaine pour le segmention sémantique vise à produire des prédictions denses satisfaisantes sur un domaine cible non étiqueté en utilisant un modèle supervisé formé sur un domaine source étiqueté. Dans ce travail, nous proposons Semantic-Guided Pixel Contrast (SePiCo), une nouvelle approche d'adaptation en une seule étape qui met en avant les concepts sémantiques de chaque pixel afin de favoriser l'apprentissage de représentations de pixels discriminants et équilibrés entre les classes à travers les domaines, améliorant ainsi finalement les performances des méthodes d'auto-entraînement. Plus précisément, pour explorer des concepts sémantiques appropriés, nous examinons tout d'abord un contraste de pixels centré sur les centroïdes, qui utilise les centroïdes catégoriels du domaine source entier ou d'une seule image source pour guider l'apprentissage de caractéristiques discriminantes. Étant donné la possible absence de diversité catégorielle dans les concepts sémantiques, nous explorons ensuite une perspective distributionnelle pour inclure un nombre suffisant d'instances, appelée contraste de pixels sensible à la distribution, dans lequel nous approximons la distribution réelle de chaque catégorie sémantique à partir des statistiques des données source étiquetées. De plus, cet objectif d'optimisation peut dériver une borne supérieure sous forme fermée en impliquant implicitement un nombre infini de paires (dis)similaires, ce qui le rend efficace sur le plan computationnel. Des expériences approfondies montrent que SePiCo non seulement aide à stabiliser l'entraînement mais produit également des représentations discriminantes, réalisant ainsi des progrès significatifs dans les scénarios d'adaptation synthétique-réelle et diurne-nocturne.