Apprentissage à partir d'étiquettes bruitées avec un purificateur métalabel déconnecté

L'entraînement des réseaux neuronaux profonds (DNN) avec des étiquettes bruitées est un défi majeur, car les DNN ont tendance à mémoriser facilement les étiquettes incorrectes, ce qui entraîne une mauvaise capacité de généralisation. Récemment, les stratégies de correction d'étiquettes basées sur l'apprentissage métalé (meta-learning) sont largement adoptées pour aborder ce problème en identifiant et en corrigeant les étiquettes potentiellement bruyantes grâce à un petit ensemble de données de validation propres. Bien que l'entraînement avec des étiquettes purifiées améliore efficacement les performances, la résolution du problème d'apprentissage métalé implique inévitablement une boucle imbriquée de optimisation bi-niveaux entre les poids du modèle et les hyperparamètres (à savoir, la distribution des étiquettes). À titre de compromis, les méthodes antérieures recourent à un processus d'apprentissage couplé avec mise à jour alternée. Dans cet article, nous observons empiriquement que cette optimisation simultanée des poids du modèle et de la distribution des étiquettes ne permet pas d’atteindre une routine optimale, limitant ainsi la capacité de représentation du modèle principal (backbone) et la précision des étiquettes corrigées. À partir de cette observation, nous proposons un nouveau purificateur d'étiquettes à plusieurs étapes, nommé DMLP. DMLP décompose le processus de correction d'étiquettes en apprentissage de représentation sans étiquettes et en un purificateur métalé simple. Ainsi, DMLP peut se concentrer, dans deux étapes distinctes, sur l'extraction de caractéristiques discriminantes et sur la correction des étiquettes. DMLP est un purificateur d'étiquettes plug-and-play : les étiquettes purifiées peuvent être directement réutilisées pour une re-entraînement end-to-end naïf ou d'autres méthodes d'apprentissage robuste, permettant d'obtenir des résultats de pointe sur plusieurs jeux de données synthétiques et réels bruyants, notamment dans des conditions de fort taux de bruit.