Sur les algorithmes de méta-apprentissage du premier ordre

Ce document examine les problèmes d'apprentissage métadimensionnel, où il existe une distribution de tâches, et notre objectif est d'obtenir un agent qui se comporte bien (c'est-à-dire apprend rapidement) lorsqu'il est confronté à une tâche inédite tirée de cette distribution. Nous analysons une famille d'algorithmes visant à apprendre une initialisation de paramètres qui peut être affinée rapidement sur une nouvelle tâche, en utilisant uniquement des dérivées du premier ordre pour les mises à jour métadimensionnelles. Cette famille inclut et généralise le MAML du premier ordre, une approximation du MAML obtenue en ignorant les dérivées du second ordre. Elle comprend également Reptile, un nouvel algorithme que nous présentons ici, qui fonctionne en échantillonnant répétitivement une tâche, en s'entraînant dessus, et en déplaçant l'initialisation vers les poids entraînés sur cette tâche. Nous approfondissons les résultats de Finn et al., montrant que les algorithmes d'apprentissage métadimensionnel du premier ordre se comportent bien sur certaines références bien établies pour la classification avec peu d'exemples, et nous fournissons une analyse théorique visant à comprendre pourquoi ces algorithmes fonctionnent.