HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage guidé par la dimensionalité avec des étiquettes bruitées

Xingjun Ma∗1 Yisen Wang∗2 Michael E. Houle3 Shuo Zhou1 Sarah M. Erfani1 Shu-Tao Xia2 Sudanthi Wijewickrema1 James Bailey1

Résumé

Les ensembles de données comportant des proportions importantes d'étiquettes de classe bruyantes (erronées) posent des défis pour l'entraînement de réseaux de neurones profonds (DNNs) précis. Nous proposons une nouvelle perspective pour comprendre la généralisation des DNNs dans ces ensembles de données, en étudiant la dimensionnalité du sous-espace de représentation profonde des échantillons d'entraînement. Nous montrons que, d'un point de vue dimensionnel, les DNNs présentent des styles d'apprentissage très distincts lorsqu'ils sont entraînés avec des étiquettes propres par rapport à lorsqu'ils sont entraînés avec une proportion d'étiquettes bruyantes. Sur la base de cette découverte, nous développons une nouvelle stratégie d'apprentissage guidée par la dimensionnalité, qui surveille la dimensionnalité des sous-espaces pendant l'entraînement et ajuste la fonction de perte en conséquence. Nous démontrons empiriquement que notre approche est très tolérante aux proportions importantes d'étiquettes bruyantes et peut apprendre efficacement des sous-espaces locaux de faible dimension qui capturent la distribution des données.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp