Apprentissage universel de représentations à partir de multiples domaines pour la classification à faible exemplaire

Dans cet article, nous abordons le problème de la classification à faibles exemplaires, qui vise à apprendre un classificateur pour des classes et des domaines auparavant inconnus à partir de très peu d’exemples étiquetés. Les méthodes récentes utilisent des réseaux d’adaptation pour aligner leurs représentations sur de nouveaux domaines, ou sélectionnent les caractéristiques pertinentes parmi plusieurs extracteurs de caractéristiques spécifiques à des domaines. Dans ce travail, nous proposons d’apprendre un unique ensemble de représentations profondes universelles en distillant les connaissances de plusieurs réseaux entraînés séparément, après avoir co-aligné leurs caractéristiques à l’aide d’adaptateurs et de l’alignement du noyau centré. Nous montrons que ces représentations universelles peuvent être affinées de manière efficace pour des domaines auparavant inconnus grâce à une étape d’adaptation similaire à celle des méthodes d’apprentissage par distance. Nous évaluons rigoureusement notre modèle sur le benchmark récent Meta-Dataset et démontrons qu’il surpasse significativement les méthodes antérieures tout en étant plus efficace. Notre code sera disponible à l’adresse suivante : https://github.com/VICO-UoE/URL.