LongReMix : Apprentissage robuste basé sur des échantillons à haute confiance dans un environnement de labels bruités

Les modèles de réseaux de neurones profonds sont robustes à une quantité limitée de bruit dans les étiquettes, mais leur capacité à mémoriser des étiquettes erronées dans des problèmes présentant un taux élevé de bruit reste un problème ouvert. Les algorithmes les plus performants pour l'apprentissage avec étiquettes bruitées reposent sur un processus en deux étapes : une étape d'apprentissage non supervisé visant à classifier les échantillons d'entraînement comme propres ou bruités, suivie d'une étape d'apprentissage semi-supervisé qui minimise le risque vicinal empirique (EVR) en utilisant un ensemble étiqueté constitué des échantillons classés comme propres, et un ensemble non étiqueté composé des échantillons classés comme bruités. Dans cet article, nous supposons que la généralisation de ces méthodes en deux étapes dépend de la précision du classificateur non supervisé et de la taille de l'ensemble d'entraînement afin de minimiser l'EVR. Nous validons empiriquement ces deux hypothèses et proposons un nouvel algorithme d'entraînement en deux étapes pour les étiquettes bruitées, appelé LongReMix. Nous évaluons LongReMix sur les benchmarks classiques avec étiquettes bruitées : CIFAR-10, CIFAR-100, WebVision, Clothing1M et Food101-N. Les résultats montrent que LongReMix se généralise mieux que les approches concurrentes, en particulier dans les cas de taux élevé de bruit. De plus, notre méthode atteint des performances de pointe sur la plupart des jeux de données. Le code est disponible à l'adresse suivante : https://github.com/filipe-research/LongReMix.