Méthode de perturbation simultanée pour l'optimisation des poids multi-tâches en apprentissage métasupervisé à un coup

Les méthodes de méta-apprentissage visent à concevoir des algorithmes d’apprentissage capables de s’adapter rapidement à de nouvelles tâches dans un régime à faible quantité de données. L’un des défis les plus difficiles pour de tels algorithmes est le problème d’apprentissage en une seule tentative (one-shot learning). Dans ce cadre, de nombreuses méthodes rencontrent des incertitudes liées à la quantité limitée d’échantillons d’entraînement, ce qui peut entraîner un surapprentissage (overfitting). Ce problème peut être atténué en fournissant des informations supplémentaires au modèle. Une des approches les plus efficaces consiste en l’apprentissage multi-tâches. Dans cet article, nous étudions une modification du pipeline standard de méta-apprentissage. La méthode proposée exploite simultanément les informations provenant de plusieurs tâches d’entraînement méta dans une fonction de perte commune. L’impact de chaque tâche dans la fonction de perte est contrôlé par un poids spécifique à chaque tâche. Une optimisation adéquate de ces poids peut avoir une influence significative sur l’entraînement ainsi que sur la qualité finale du modèle. Nous proposons et examinons l’utilisation de méthodes issues de la famille de l’Approximation Stochastique par Perturbation Simultanée (Simultaneous Perturbation Stochastic Approximation, SPSA) pour l’optimisation des poids des tâches d’entraînement méta. Nous démontrons également l’efficacité supérieure de l’approximation stochastique par rapport aux méthodes basées sur les gradients. La modification multi-tâches proposée peut être appliquée à presque toutes les méthodes de méta-apprentissage. Nous évaluons son efficacité sur les algorithmes Model-Agnostic Meta-Learning (MAML) et Prototypical Networks, sur les benchmarks one-shot learning CIFAR-FS, FC100, miniImageNet et tieredImageNet. Les expériences montrent une amélioration par rapport aux méthodes initiales. L’algorithme SPSA-Tracking, tout d’abord adapté dans cet article à l’optimisation des poids multi-tâches, obtient la plus grande augmentation de précision, compétitive avec les méthodes de pointe en méta-apprentissage. Le code source est disponible en ligne.