Apprentissage méta PAC-Bayes avec des postérieurs implicites spécifiques aux tâches

Nous introduisons un nouvel algorithme de méta-apprentissage PAC-Bayes rigoureusement formulé, conçu pour résoudre le problème de l’apprentissage en peu d’exemples (few-shot learning). Notre méthode étend le cadre PAC-Bayes, initialement défini pour une seule tâche, à un cadre de méta-apprentissage impliquant plusieurs tâches, afin d’établir une borne supérieure sur l’erreur évaluée sur n’importe quelle tâche, même non vue auparavant, ainsi que sur tout échantillon. Nous proposons également une approche générative pour estimer de manière plus expressive la postérieure des paramètres du modèle spécifiques à chaque tâche, en s’écartant de l’hypothèse classique reposant sur une distribution normale multivariée à matrice de covariance diagonale. Nous démontrons que les modèles entraînés avec notre algorithme de méta-apprentissage sont bien calibrés et précis, atteignant des résultats de pointe en termes de calibration et de classification sur des benchmarks de classification en peu d’exemples (mini-ImageNet et tiered-ImageNet) ainsi que sur des benchmarks de régression (régression sur une distribution multi-modale de tâches).