Stratégie d’actualisation méta plus rapide pour l’apprentissage profond robuste au bruit

Il a été démontré que les réseaux de neurones profonds sont sujets au surapprentissage sur des données d'entraînement biaisées. Pour atténuer ce problème, l'apprentissage métadonnées (meta-learning) utilise un modèle métadonnées afin de corriger le biais d'entraînement. Malgré les performances prometteuses, le processus d'entraînement extrêmement lent constitue actuellement le goulot d'étranglement des approches d'apprentissage métadonnées. Dans cet article, nous proposons une nouvelle stratégie d'actualisation métadonnées accélérée (Faster Meta Update Strategy, FaMUS), qui remplace l'étape la plus coûteuse dans le calcul du gradient métadonnées par une approximation plus rapide par couche. Nous observons empiriquement que FaMUS fournit non seulement une approximation raisonnablement précise du gradient métadonnées, mais aussi une variance faible. Des expériences étendues ont été menées pour valider la méthode sur deux tâches. Nos résultats montrent que la méthode permet de réduire de deux tiers le temps d'entraînement tout en maintenant une performance de généralisation comparable, voire supérieure. En particulier, notre approche atteint des performances de pointe (state-of-the-art) sur des étiquettes bruitées synthétiques et réalistes, et obtient des résultats prometteurs sur la reconnaissance à distribution longue-taille sur des benchmarks standards.