HyperAIHyperAI

Command Palette

Search for a command to run...

Stratégie d’actualisation méta plus rapide pour l’apprentissage profond robuste au bruit

Youjiang Xu Linchao Zhu Lu Jiang Yi Yang

Résumé

Il a été démontré que les réseaux de neurones profonds sont sujets au surapprentissage sur des données d'entraînement biaisées. Pour atténuer ce problème, l'apprentissage métadonnées (meta-learning) utilise un modèle métadonnées afin de corriger le biais d'entraînement. Malgré les performances prometteuses, le processus d'entraînement extrêmement lent constitue actuellement le goulot d'étranglement des approches d'apprentissage métadonnées. Dans cet article, nous proposons une nouvelle stratégie d'actualisation métadonnées accélérée (Faster Meta Update Strategy, FaMUS), qui remplace l'étape la plus coûteuse dans le calcul du gradient métadonnées par une approximation plus rapide par couche. Nous observons empiriquement que FaMUS fournit non seulement une approximation raisonnablement précise du gradient métadonnées, mais aussi une variance faible. Des expériences étendues ont été menées pour valider la méthode sur deux tâches. Nos résultats montrent que la méthode permet de réduire de deux tiers le temps d'entraînement tout en maintenant une performance de généralisation comparable, voire supérieure. En particulier, notre approche atteint des performances de pointe (state-of-the-art) sur des étiquettes bruitées synthétiques et réalistes, et obtient des résultats prometteurs sur la reconnaissance à distribution longue-taille sur des benchmarks standards.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp