HyperAIHyperAI

Command Palette

Search for a command to run...

Co-enseignement : Formation robuste de réseaux de neurones profonds avec des étiquettes extrêmement bruyantes

Bo Han Quanming Yao Xingrui Yu Gang Niu Miao Xu Weihua Hu Ivor W. Tsang Masashi Sugiyama

Résumé

L'apprentissage profond avec des étiquettes bruitées présente des défis pratiques, car la capacité des modèles profonds est si élevée qu'ils peuvent finir par mémoriser complètement ces étiquettes bruitées au cours de l'entraînement. Néanmoins, des études récentes sur les effets de mémorisation des réseaux neuronaux profonds montrent que ceux-ci mémorisent d'abord les données d'entraînement avec des étiquettes propres, puis celles avec des étiquettes bruitées. Par conséquent, dans cet article, nous proposons un nouveau paradigme d'apprentissage profond appelé Co-enseignement (Co-teaching) pour lutter contre les étiquettes bruitées. Plus précisément, nous entraînons simultanément deux réseaux neuronaux profonds et les faisons s'enseigner mutuellement à chaque mini-lot : premièrement, chaque réseau fait une passe avant sur toutes les données et sélectionne certaines données possiblement propres ; deuxièmement, les deux réseaux communiquent entre eux sur quelles données de ce mini-lot doivent être utilisées pour l'entraînement ; enfin, chaque réseau fait une passe arrière sur les données sélectionnées par son réseau jumeau et se met à jour. Les résultats empiriques sur des versions bruitées de MNIST, CIFAR-10 et CIFAR-100 démontrent que le Co-enseignement est nettement supérieur aux méthodes de pointe en termes de robustesse des modèles d'apprentissage profond entraînés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Co-enseignement : Formation robuste de réseaux de neurones profonds avec des étiquettes extrêmement bruyantes | Articles | HyperAI