Comment entraîner votre MAML

Le domaine de l'apprentissage à partir de peu d'exemples (few-shot learning) a récemment connu des avancées considérables. La plupart de ces progrès proviennent de la formulation du problème d'apprentissage à partir de peu d'exemples comme un problème d'apprentissage par méta-apprentissage. L'Apprentissage Méta-Modèle Agnostique, ou MAML (Model Agnostic Meta Learning), est actuellement l'une des meilleures approches pour l'apprentissage à partir de peu d'exemples via le méta-apprentissage. Bien que MAML soit simple, élégant et très puissant, il présente divers problèmes, tels qu'une grande sensibilité aux architectures des réseaux neuronaux, une instabilité fréquente lors de l'entraînement, la nécessité de recherches laborieuses de hyperparamètres pour stabiliser l'entraînement et obtenir une bonne généralisation, ainsi qu'un coût computationnel élevé tant pendant l'entraînement que lors de l'inférence. Dans cet article, nous proposons diverses modifications à MAML qui non seulement stabilisent le système, mais améliorent également considérablement les performances de généralisation, la vitesse de convergence et le surcoût computationnel de MAML, que nous appelons MAML++.