Ensamblage temporel robuste pour l'apprentissage avec des étiquettes bruitées

L’entraînement réussi de réseaux de neurones profonds en présence d’étiquettes bruitées constitue une capacité essentielle, puisque la plupart des jeux de données du monde réel contiennent une certaine proportion de données mal étiquetées. En l’absence de mesures correctives, le bruit d’étiquetage peut fortement dégrader les performances des méthodes d’apprentissage supervisé classiques. Dans cet article, nous présentons une méthode appelée Robust Temporal Ensembling (RTE), qui combine une fonction de perte robuste avec des méthodes de régularisation semi-supervisée afin d’atteindre un apprentissage résistant au bruit. Nous démontrons que RTE atteint des performances de pointe sur les jeux de données CIFAR-10, CIFAR-100, ImageNet, WebVision et Food-101N, tout en s’affranchissant de la tendance récente consistant à filtrer et/ou corriger les étiquettes. Enfin, nous montrons que RTE préserve également une robustesse compétitive face à des perturbations inattendues sur les entrées, en utilisant le jeu de données CIFAR-10-C, obtenant un taux d’erreur moyen par corruption (mCE) de 13,50 % même avec un taux de bruit de 80 %, contre 26,9 % de mCE avec les méthodes standards sur des données propres.