La régularisation d'apprentissage précoce empêche la mémorisation des étiquettes bruitées

Nous proposons un cadre novateur pour effectuer la classification par apprentissage profond en présence d’étiquettes bruitées. Lorsqu’ils sont entraînés sur des étiquettes erronées, les réseaux de neurones profonds ont été observés pour s’ajuster d’abord aux données d’entraînement portant des étiquettes propres durant une phase initiale dite « d’apprentissage précoce », avant de finalement mémoriser les exemples portant des étiquettes fausses. Nous démontrons que l’apprentissage précoce et la mémorisation constituent des phénomènes fondamentaux dans les tâches de classification en haute dimension, même dans des modèles linéaires simples, et fournissons une explication théorique dans ce cadre. Inspirés par ces résultats, nous développons une nouvelle technique pour les tâches de classification avec bruit, exploitant l’évolution de la phase d’apprentissage précoce. Contrairement aux approches existantes, qui utilisent les sorties du modèle pendant l’apprentissage précoce pour détecter les exemples portant des étiquettes propres, puis ignorent ou tentent de corriger les étiquettes erronées, nous adoptons une approche différente en exploitant activement l’apprentissage précoce via une régularisation. Notre méthode repose sur deux éléments clés. Premièrement, nous utilisons des techniques d’apprentissage semi-supervisé pour générer des probabilités cibles à partir des sorties du modèle. Deuxièmement, nous concevons un terme de régularisation qui guide le modèle vers ces cibles, empêchant implicitement la mémorisation des étiquettes fausses. Le cadre résultant s’avère robuste face aux annotations bruitées sur plusieurs benchmarks standards et jeux de données réels, atteignant des performances comparables à l’état de l’art.