Segmentation sémantique semi-supervisée avec réseau de localisation d'erreurs

Ce papier étudie l’apprentissage semi-supervisé de la segmentation sémantique, dans lequel seules une petite partie des images d’entraînement sont étiquetées, les autres restant non étiquetées. Les images non étiquetées sont généralement attribuées des pseudo-étiquettes pour être utilisées durant l’entraînement, ce qui expose toutefois à un risque de dégradation des performances en raison du biais de confirmation accru par rapport aux erreurs présentes dans les pseudo-étiquettes. Nous proposons une nouvelle méthode permettant de résoudre ce problème récurrent lié à la pseudo-étiquetage. Au cœur de notre approche se trouve un réseau de localisation des erreurs (ELN), un module auxiliaire qui prend en entrée une image et sa prédiction de segmentation, afin d’identifier les pixels dont les pseudo-étiquettes sont susceptibles d’être erronées. L’ELN rend l’apprentissage semi-supervisé robuste aux pseudo-étiquettes inexactes en ignorant les bruits d’étiquetage pendant l’entraînement, et peut être naturellement intégré à des stratégies d’autotraining et d’apprentissage contrastif. En outre, nous introduisons une nouvelle stratégie d’apprentissage pour l’ELN, qui simule des erreurs de segmentation plausibles et diversifiées durant l’entraînement de l’ELN, afin d’améliorer sa généralisation. Notre méthode est évaluée sur les jeux de données PASCAL VOC 2012 et Cityscapes, où elle surpasse toutes les méthodes existantes dans chaque configuration d’évaluation.