Auto-Étiquetage Équilibré au Niveau des Pixels pour la Segmentation Sémantique Adaptative aux Domaines

L'adaptation de domaine pour le segmention sémantique vise à apprendre un modèle supervisé par des données d'un domaine source, et à produire des prédictions denses satisfaisantes sur un domaine cible non étiqueté. Une solution populaire pour cette tâche ardue est l'auto-apprentissage, qui sélectionne les prédictions avec les meilleurs scores sur les échantillons cibles comme pseudo-étiquettes pour l'entraînement. Cependant, les pseudo-étiquettes générées contiennent souvent beaucoup de bruit car le modèle est biaisé vers le domaine source ainsi que vers les catégories majoritaires. Pour résoudre ces problèmes, nous proposons d'explorer directement les distributions intrinsèques des pixels des données du domaine cible, plutôt que de dépendre fortement du domaine source. Plus précisément, nous effectuons simultanément un regroupement (clustering) des pixels et une correction des pseudo-étiquettes en utilisant les affectations de cluster obtenues. Ce processus est réalisé en ligne afin que les pseudo-étiquettes puissent co-évoluer avec le modèle de segmentation sans nécessiter d'extraits d'entraînement supplémentaires. Pour surmonter le problème d'imbalance de classe dans les catégories à queue longue, nous utilisons une technique d'alignement de distribution pour obliger la distribution marginale des classes des affectations de cluster à être proche de celle des pseudo-étiquettes. La méthode proposée, appelée Auto-Étiquetage Pixel-level Équilibré en Classes (CPSL), améliore considérablement la performance de segmentation sur le domaine cible par rapport aux méthodes de pointe actuelles, particulièrement sur les catégories à queue longue.