Correction de l'apprentissage par pseudo-étiquettes via l'estimation d'incertitude pour la segmentation sémantique adaptative par domaine

Cet article se concentre sur l’adaptation de domaine non supervisée visant à transférer les connaissances du domaine source vers le domaine cible dans le cadre de la segmentation sémantique. Les approches existantes considèrent généralement les pseudo-étiquettes comme des vérités terrain afin d’exploiter pleinement les données non étiquetées du domaine cible. Toutefois, ces pseudo-étiquettes du domaine cible sont habituellement prédites par un modèle entraîné sur le domaine source. En conséquence, les étiquettes générées contiennent inévitablement des prédictions erronées dues à l’écart entre le domaine d’entraînement et le domaine de test, ce qui peut être transféré au modèle final d’adaptation et compromettre fortement le processus d’entraînement. Pour surmonter ce problème, cet article propose d’estimer explicitement l’incertitude de prédiction pendant l’entraînement afin de corriger l’apprentissage des pseudo-étiquettes dans le cadre de l’adaptation non supervisée de la segmentation sémantique. Étant donné une image d’entrée, le modèle produit à la fois la prédiction de segmentation sémantique et l’incertitude associée à cette prédiction. Plus précisément, nous modélisons l’incertitude à l’aide de la variance de prédiction et intégrons cette incertitude dans l’objectif d’optimisation. Pour valider l’efficacité de la méthode proposée, nous l’évaluons sur deux benchmarks largement utilisés de segmentation sémantique synthétique vers réel, à savoir GTA5 → Cityscapes et SYNTHIA → Cityscapes, ainsi que sur un benchmark inter-villes, à savoir Cityscapes → Oxford RobotCar. À travers des expériences étendues, nous démontrons que la méthode proposée (1) ajuste dynamiquement les seuils de confiance en fonction de la variance de prédiction, (2) corrige l’apprentissage à partir des pseudo-étiquettes bruitées, et (3) obtient des améliorations significatives par rapport à l’apprentissage conventionnel des pseudo-étiquettes, tout en atteignant des performances compétitives sur les trois benchmarks.