Command Palette
Search for a command to run...
Apprentissage méta bayésien pour le cadre à peu d'exemples via des noyaux profonds
Apprentissage méta bayésien pour le cadre à peu d'exemples via des noyaux profonds
Massimiliano Patacchiola Jack Turner Elliot J. Crowley Michael O' Boyle Amos Storkey
Résumé
Récemment, diverses méthodes d'apprentissage automatique ont été proposées pour aborder le défi du few-shot learning, c’est-à-dire l’apprentissage à partir d’un petit ensemble d’étiquettes spécifique à une tâche donnée. Les approches courantes adoptent une stratégie de méta-apprentissage : apprendre à apprendre sur une nouvelle tâche à partir d’expériences antérieures. Étant donné que le méta-apprentissage peut être vu comme une forme d’apprentissage dans un modèle à plusieurs niveaux, nous proposons ici une formulation bayésienne de la boucle interne du méta-apprentissage, fondée sur l’utilisation de noyaux profonds. Ce cadre permet d’apprendre un noyau transférable à de nouvelles tâches, que nous désignons par Deep Kernel Transfer (DKT). Cette approche présente plusieurs avantages : elle est simple à implémenter via un seul optimiseur, fournit une quantification des incertitudes, et ne nécessite pas d’estimer de paramètres spécifiques à chaque tâche. Nous démontrons empiriquement que DKT surpasser plusieurs algorithmes de pointe dans le domaine de la classification à faible exemple, et constitue actuellement l’état de l’art pour l’adaptation trans-domaine et la régression. Nous concluons que des procédures de méta-apprentissage complexes peuvent être remplacées par un modèle bayésien plus simple, sans perte de précision.