HyperAIHyperAI

Command Palette

Search for a command to run...

Meta-Apprentissage avec un préconditionneur adaptatif géométriquement

Suhyun Kang Duhun Hwang Moonjung Eo Taesup Kim Wonjong Rhee

Résumé

L’apprentissage métacommun (MAML) est l’un des algorithmes d’apprentissage métacommun les plus performants. Il repose sur une structure d’optimisation à deux niveaux : le processus de boucle externe apprend une initialisation partagée, tandis que le processus de boucle interne ajuste les poids spécifiques à chaque tâche. Bien que MAML s’appuie sur la descente de gradient standard dans la boucle interne, des études récentes ont montré qu’un contrôle de la descente de gradient interne à l’aide d’un préconditionneur appris métacommun peut s’avérer avantageux. Toutefois, les préconditionneurs existants ne parviennent pas à s’adapter simultanément de manière spécifique à la tâche et dépendante du parcours. En outre, ils ne satisfont pas la condition de métrique de Riemann, qui permettrait une descente du plus fort gradient avec un gradient préconditionné. Dans cette étude, nous proposons une méthode appelée descente de gradient préconditionnée adaptative à la géométrie (GAP), capable de surmonter ces limitations dans MAML. GAP permet d’effectuer efficacement une métapréconditionnement dépendant des paramètres spécifiques à la tâche, et nous démontrons que son préconditionneur constitue une métrique de Riemann. Grâce à ces deux propriétés, le préconditionneur adaptatif à la géométrie s’avère particulièrement efficace pour améliorer l’optimisation dans la boucle interne. Les résultats expérimentaux montrent que GAP dépasse les méthodes de pointe de la famille MAML ainsi que celles de la famille MAML à descente de gradient préconditionnée (PGD-MAML) dans diverses tâches d’apprentissage peu supervisé. Le code est disponible à l’adresse suivante : https://github.com/Suhyun777/CVPR23-GAP.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp