Co-enseignement : Formation robuste de réseaux de neurones profonds avec des étiquettes extrêmement bruyantes

L'apprentissage profond avec des étiquettes bruitées présente des défis pratiques, car la capacité des modèles profonds est si élevée qu'ils peuvent finir par mémoriser complètement ces étiquettes bruitées au cours de l'entraînement. Néanmoins, des études récentes sur les effets de mémorisation des réseaux neuronaux profonds montrent que ceux-ci mémorisent d'abord les données d'entraînement avec des étiquettes propres, puis celles avec des étiquettes bruitées. Par conséquent, dans cet article, nous proposons un nouveau paradigme d'apprentissage profond appelé Co-enseignement (Co-teaching) pour lutter contre les étiquettes bruitées. Plus précisément, nous entraînons simultanément deux réseaux neuronaux profonds et les faisons s'enseigner mutuellement à chaque mini-lot : premièrement, chaque réseau fait une passe avant sur toutes les données et sélectionne certaines données possiblement propres ; deuxièmement, les deux réseaux communiquent entre eux sur quelles données de ce mini-lot doivent être utilisées pour l'entraînement ; enfin, chaque réseau fait une passe arrière sur les données sélectionnées par son réseau jumeau et se met à jour. Les résultats empiriques sur des versions bruitées de MNIST, CIFAR-10 et CIFAR-100 démontrent que le Co-enseignement est nettement supérieur aux méthodes de pointe en termes de robustesse des modèles d'apprentissage profond entraînés.