Apprentissage méta bayésien pour le cadre à peu d'exemples via des noyaux profonds

Récemment, diverses méthodes d'apprentissage automatique ont été proposées pour aborder le défi du few-shot learning, c’est-à-dire l’apprentissage à partir d’un petit ensemble d’étiquettes spécifique à une tâche donnée. Les approches courantes adoptent une stratégie de méta-apprentissage : apprendre à apprendre sur une nouvelle tâche à partir d’expériences antérieures. Étant donné que le méta-apprentissage peut être vu comme une forme d’apprentissage dans un modèle à plusieurs niveaux, nous proposons ici une formulation bayésienne de la boucle interne du méta-apprentissage, fondée sur l’utilisation de noyaux profonds. Ce cadre permet d’apprendre un noyau transférable à de nouvelles tâches, que nous désignons par Deep Kernel Transfer (DKT). Cette approche présente plusieurs avantages : elle est simple à implémenter via un seul optimiseur, fournit une quantification des incertitudes, et ne nécessite pas d’estimer de paramètres spécifiques à chaque tâche. Nous démontrons empiriquement que DKT surpasser plusieurs algorithmes de pointe dans le domaine de la classification à faible exemple, et constitue actuellement l’état de l’art pour l’adaptation trans-domaine et la régression. Nous concluons que des procédures de méta-apprentissage complexes peuvent être remplacées par un modèle bayésien plus simple, sans perte de précision.