L2B : Apprendre à initialiser des modèles robustes pour lutter contre le bruit des étiquettes

Les réseaux neuronaux profonds ont connu un succès remarquable dans l'apprentissage de représentations. Toutefois, lorsqu'ils sont entraînés avec des étiquettes bruitées (Learning with Noisy Labels, LNL), ils sont facilement sujets au surajustement et échouent à généraliser à de nouvelles données. Ce papier présente une méthode simple et efficace, nommée Learning to Bootstrap (L2B), qui permet aux modèles de s'auto-entraîner à partir de leurs propres prédictions, sans être affectés négativement par les pseudo-étiquettes erronées. Cette approche repose sur un ajustement dynamique des poids d'importance entre les étiquettes observées réelles et les étiquettes générées, ainsi qu'entre différents échantillons, via l'apprentissage métadonnées. Contrairement aux méthodes existantes de rééchantillonnage par instance, l'originalité de notre méthode réside dans une nouvelle fonction objectif polyvalente, qui permet une relabelisation implicite simultanée, conduisant à des améliorations significatives sans coût supplémentaire.L2B offre plusieurs avantages par rapport aux méthodes de base. Elle produit des modèles plus robustes, moins sensibles aux effets des étiquettes bruitées, en guidant de manière plus efficace le processus d'auto-entraînement. Elle exploite mieux l'information précieuse contenue dans les instances corrompues en adaptant dynamiquement les poids tant des échantillons que des étiquettes. En outre, L2B est compatible avec les méthodes existantes de LNL et obtient des résultats compétitifs sur des tâches variées, incluant la classification et la segmentation, dans les domaines de l'imagerie naturelle et médicale, sous des conditions de bruit synthétique comme réel. Des expériences étendues démontrent que notre méthode atténue efficacement les défis posés par les étiquettes bruitées, souvent sans nécessiter de jeux de validation, et se généralise bien à d'autres tâches telles que la segmentation d'images. Cela en fait non seulement un complément robuste aux techniques existantes de LNL, mais aussi un outil aux applications pratiques évidentes. Le code et les modèles sont disponibles à l'adresse suivante : https://github.com/yuyinzhou/l2b.