Segmentation sémantique semi-supervisée par apprentissage d'égalisation adaptatif

En raison des données limitées et souvent déséquilibrées, la segmentation sémantique semi-supervisée présente généralement de mauvaises performances sur certaines catégories spécifiques, par exemple les catégories rares dans le jeu de données Cityscapes, qui présente une distribution de labels en forme de queue longue. Les approches existantes négligent presque toutes ce problème, traitant toutes les catégories de manière équitable. Certains mécanismes populaires, tels que la régularisation de cohérence ou l’attribution de pseudo-étiquettes, peuvent même nuire à l’apprentissage des catégories mal performantes, car leurs prédictions ou pseudo-étiquettes peuvent être trop imprécises pour guider efficacement l’apprentissage sur les données non étiquetées. Dans cet article, nous abordons ce problème et proposons un cadre novateur pour la segmentation sémantique semi-supervisée, nommé apprentissage d’égalisation adaptatif (AEL). AEL équilibre de manière adaptative l’entraînement des catégories bien et mal performantes, en utilisant une banque de confiance pour suivre dynamiquement les performances catégorielles au cours de l’entraînement. Cette banque de confiance sert d’indicateur pour orienter l’apprentissage vers les catégories sous-performantes, incarnée par trois stratégies : 1) des méthodes d’augmentation de données adaptatives basées sur Copy-Paste et CutMix, qui accordent une plus grande probabilité aux catégories sous-performantes d’être copiées ou découpées ; 2) une stratégie d’échantillonnage adaptatif visant à favoriser l’échantillonnage des pixels appartenant aux catégories sous-performantes ; 3) une méthode simple mais efficace de rééchantillonnage permettant de réduire le bruit d’apprentissage induit par les pseudo-étiquettes. Expérimentalement, AEL surpasse largement les méthodes de pointe sur les benchmarks Cityscapes et Pascal VOC, sous divers protocoles de partitionnement des données. Le code est disponible à l’adresse suivante : https://github.com/hzhupku/SemiSeg-AEL