Méta-apprentissage de l'inférence probabiliste pour la prédiction

Ce document présente un nouveau cadre pour l'apprentissage efficace en données et polyvalent. Plus précisément : 1) Nous développons ML-PIP, un cadre général pour l'apprentissage métadynamique d'inférences probabilistes approximatives pour la prédiction. ML-PIP étend les interprétations probabilistes existantes de l'apprentissage métadynamique afin de couvrir une large classe de méthodes. 2) Nous introduisons VERSA, une instance du cadre utilisant un réseau d'amortissement flexible et polyvalent qui prend des jeux de données d'apprentissage par quelques exemples (few-shot learning datasets) comme entrées, avec un nombre arbitraire d'exemples (shots), et produit une distribution sur les paramètres spécifiques à la tâche en une seule passe avant. VERSA remplace l'optimisation au moment du test par des passes avant à travers des réseaux d'inférence, amortissant le coût de l'inférence et éliminant la nécessité de calculer des dérivées secondes lors de l'entraînement. 3) Nous évaluons VERSA sur des ensembles de données de référence où la méthode établit de nouveaux résultats d'état de l'art, gère un nombre arbitraire d'exemples (shots) et, pour la classification, un nombre arbitraire de classes lors de l'entraînement et du test. La puissance de cette approche est ensuite démontrée à travers une tâche complexe de reconstruction de vues ShapeNet par apprentissage par quelques exemples (few-shot).