MentorNet : Apprentissage d'un programme d'études guidé par les données pour des réseaux neuronaux très profonds avec des étiquettes corrompues

Les réseaux de neurones profonds récents sont capables de mémoriser l'ensemble des données même lorsque les étiquettes sont complètement aléatoires. Pour surmonter le surapprentissage lié aux étiquettes corrompues, nous proposons une nouvelle technique consistant à apprendre un autre réseau neuronal, appelé MentorNet, pour superviser l'entraînement des réseaux de neurones profonds de base, nommés StudentNet. Au cours de l'entraînement, MentorNet fournit un programme d'études (schéma de pondération des échantillons) pour que StudentNet se concentre sur les échantillons dont l'étiquette est probablement correcte. Contrairement aux programmes d'études existants qui sont généralement prédéfinis par des experts humains, MentorNet apprend un programme d'études guidé par les données de manière dynamique avec StudentNet. Les résultats expérimentaux montrent que notre approche peut améliorer significativement les performances de généralisation des réseaux de neurones profonds entraînés sur des données d'entraînement corrompues. Notamment, selon nos connaissances, nous obtenons le meilleur résultat publié sur WebVision, un grand benchmark contenant 2,2 millions d'images avec des étiquettes bruitées du monde réel. Le code est disponible à l'adresse suivante : https://github.com/google/mentornet