Meta-Apprentissage avec un préconditionneur adaptatif géométriquement

L’apprentissage métacommun (MAML) est l’un des algorithmes d’apprentissage métacommun les plus performants. Il repose sur une structure d’optimisation à deux niveaux : le processus de boucle externe apprend une initialisation partagée, tandis que le processus de boucle interne ajuste les poids spécifiques à chaque tâche. Bien que MAML s’appuie sur la descente de gradient standard dans la boucle interne, des études récentes ont montré qu’un contrôle de la descente de gradient interne à l’aide d’un préconditionneur appris métacommun peut s’avérer avantageux. Toutefois, les préconditionneurs existants ne parviennent pas à s’adapter simultanément de manière spécifique à la tâche et dépendante du parcours. En outre, ils ne satisfont pas la condition de métrique de Riemann, qui permettrait une descente du plus fort gradient avec un gradient préconditionné. Dans cette étude, nous proposons une méthode appelée descente de gradient préconditionnée adaptative à la géométrie (GAP), capable de surmonter ces limitations dans MAML. GAP permet d’effectuer efficacement une métapréconditionnement dépendant des paramètres spécifiques à la tâche, et nous démontrons que son préconditionneur constitue une métrique de Riemann. Grâce à ces deux propriétés, le préconditionneur adaptatif à la géométrie s’avère particulièrement efficace pour améliorer l’optimisation dans la boucle interne. Les résultats expérimentaux montrent que GAP dépasse les méthodes de pointe de la famille MAML ainsi que celles de la famille MAML à descente de gradient préconditionnée (PGD-MAML) dans diverses tâches d’apprentissage peu supervisé. Le code est disponible à l’adresse suivante : https://github.com/Suhyun777/CVPR23-GAP.