Lissage des étiquettes : un remède efficace contre le bruit d'étiquetage ?

Le label smoothing est couramment utilisé lors de l'entraînement des modèles d'apprentissage profond, où les étiquettes d'entraînement one-hot sont mélangées avec des vecteurs d'étiquettes uniformes. De manière empirique, ce lissage s'est révélé améliorer à la fois les performances prédictives et la calibration du modèle. Dans cet article, nous étudions si le label smoothing est également efficace comme moyen de faire face au bruit d'étiquettes. Bien que le label smoothing semble aggraver ce problème — étant équivalent à injecter un bruit symétrique dans les étiquettes — nous montrons comment il se rattache à une famille générale de techniques de correction de perte issues de la littérature sur le bruit d'étiquettes. En nous appuyant sur cette connexion, nous démontrons que le label smoothing est compétitif avec les méthodes de correction de perte en présence de bruit d'étiquettes. En outre, nous montrons que, lors de la distillation de modèles à partir de données bruitées, le label smoothing appliqué au modèle enseignant s'avère bénéfique ; ce résultat contraste avec des résultats récents obtenus dans des problèmes sans bruit, et éclaire davantage les contextes où le label smoothing s'avère utile.