Deux erreurs ne font pas une bonne action : lutte contre le biais de confirmation dans l'apprentissage avec du bruit étiqueté

Les étiquettes bruyantes nuisent aux performances des réseaux profonds. Pour assurer un apprentissage robuste, une approche en deux étapes largement utilisée alterne entre l’élimination des étiquettes incorrectes potentielles et l’apprentissage semi-supervisé. Toutefois, le rejet d’une partie des étiquettes bruyantes peut entraîner une perte d’information, en particulier lorsque la corruption dépend des données, par exemple dans les cas d’erreurs dépendantes de la classe ou de l’instance. De plus, en analysant la dynamique d’apprentissage d’une méthode representative en deux étapes, DivideMix, nous identifions la domination d’un biais de confirmation : les pseudo-étiquettes échouent à corriger un nombre significatif d’étiquettes erronées, entraînant ainsi une accumulation d’erreurs. Afin d’exploiter pleinement l’information contenue dans les étiquettes bruyantes tout en atténuant les corrections erronées, nous proposons une nouvelle méthode hybride, appelée Robust Label Refurbishment (Robust LR), qui intègre des techniques de pseudo-étiquetage et d’estimation de confiance pour rénover les étiquettes bruyantes. Nous démontrons que notre méthode atténue efficacement à la fois les effets du bruit d’étiquetage et du biais de confirmation. En conséquence, elle atteint des performances de pointe sur divers jeux de données et types de bruit, notamment CIFAR sous différents niveaux de bruit synthétique, ainsi que Mini-WebVision et ANIMAL-10N présentant des bruits réalistes.