Réseau de choix de décodeur pour le meta-apprentissage

L’apprentissage méta a été largement utilisé pour mettre en œuvre l’apprentissage peu chronologique (few-shot learning) et l’adaptation rapide des modèles. Une catégorie de méthodes d’apprentissage méta vise à apprendre à contrôler le processus de descente de gradient afin de rendre l’apprentissage basé sur le gradient rapide et généralisable. Ce travail propose une méthode qui contrôle le processus de descente de gradient des paramètres du modèle d’un réseau de neurones en restreignant ces paramètres à un espace latent de faible dimension. Le défi principal de cette approche réside dans le fait qu’un décodeur nécessitant un grand nombre de paramètres est requis. Pour surmonter ce problème, ce travail conçoit un décodeur de structure typique et partage une partie de ses poids afin de réduire le nombre de paramètres nécessaires. En outre, ce travail intègre l’apprentissage par ensemble (ensemble learning) en complément de l’approche proposée afin d’améliorer les performances. Les résultats montrent que la méthode proposée obtient des performances supérieures sur les tâches de classification Omniglot et de classification miniImageNet.