HyperAIHyperAI

Command Palette

Search for a command to run...

Meta Dropout : Apprendre à perturber les caractéristiques latentes pour améliorer la généralisation

Taewook Nam Hae Beom Lee Sung Ju Hwang Eunho Yang

Résumé

Un modèle d'apprentissage automatique qui généralise bien doit obtenir de faibles erreurs sur des exemples de test non vus. Ainsi, si nous savions comment perturber de manière optimale les exemples d'apprentissage afin de tenir compte des exemples de test, nous pourrions améliorer les performances de généralisation. Toutefois, une telle perturbation n'est pas réalisable dans les cadres classiques d'apprentissage automatique, car la distribution des données de test est inconnue. Pour relever ce défi, nous proposons une nouvelle méthode de régularisation, appelée meta-dropout, qui apprend, dans un cadre d'apprentissage méta, à perturber les caractéristiques latentes des exemples d'apprentissage afin d'améliorer la généralisation. Plus précisément, nous apprenons méta-optimisant un générateur de bruit qui produit une distribution de bruit multiplicatif pour les caractéristiques latentes, permettant ainsi d'obtenir de faibles erreurs sur les instances de test de manière dépendante de l'entrée. Ensuite, ce générateur de bruit appris peut perturber les exemples d'apprentissage de tâches non vues au moment du test méta, afin d'améliorer la généralisation. Nous validons notre méthode sur des jeux de données de classification à peu d'exemples, et les résultats montrent qu'elle améliore significativement les performances de généralisation du modèle de base, surpassant largement les méthodes de régularisation existantes telles que le goulot d'étranglement d'information, le manifold mixup et le dropout d'information.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp