Stratégies d'augmentation pour l'apprentissage avec des étiquettes bruitées

Les étiquettes imparfaites sont omniprésentes dans les jeux de données du monde réel. Plusieurs méthodes récentes ayant remporté un succès dans l’entraînement de réseaux de neurones profonds (DNN) robustes au bruit d’étiquetage ont recouru à deux techniques principales : filtrer les échantillons en fonction de leur perte durant une phase d’initialisation (warm-up) afin d’obtenir un ensemble initial d’échantillons correctement étiquetés, et utiliser les sorties du réseau comme pseudo-étiquettes pour les calculs ultérieurs de perte. Dans cet article, nous évaluons différentes stratégies d’augmentation pour des algorithmes destinés au problème du « apprentissage avec des étiquettes bruitées ». Nous proposons et examinons plusieurs stratégies d’augmentation, que nous évaluons sur des jeux de données synthétiques basés sur CIFAR-10 et CIFAR-100, ainsi que sur le jeu de données réel Clothing1M. En raison de nombreuses similitudes entre ces algorithmes, nous constatons qu’utiliser un ensemble d’augmentations pour les tâches de modélisation de la perte et un autre ensemble pour l’apprentissage lui-même est le plus efficace, permettant d’améliorer les performances par rapport aux méthodes de pointe ainsi qu’à des approches antérieures. En outre, nous observons qu’appliquer des augmentations pendant la phase d’initialisation peut nuire au comportement de convergence de la perte entre les échantillons correctement et incorrectement étiquetés. Nous intégrons cette stratégie d’augmentation à la méthode de pointe et démontrons qu’elle permet d’améliorer les performances à tous les niveaux de bruit évalués. En particulier, nous améliorons l’exactitude sur la référence CIFAR-10 avec un bruit symétrique de 90 % de plus de 15 points en précision absolue, tout en améliorant également les résultats sur le jeu de données Clothing1M.(K. Nishi et Y. Ding ont contribué de manière équivalente à ce travail)