Meta-Dataset : Un ensemble de jeux de données pour l'apprentissage à partir de peu d'exemples

La classification à faible nombre d'exemples (few-shot classification) fait référence à l'apprentissage d'un classifieur pour de nouvelles classes en ne disposant que de quelques exemples. Bien qu'un grand nombre de modèles aient émergé pour y faire face, nous trouvons que les procédures et les jeux de données utilisés pour évaluer leurs progrès sont insuffisants. Pour remédier à cette limitation, nous proposons Meta-Dataset : un nouveau benchmark pour l'entraînement et l'évaluation des modèles, qui est à grande échelle, composé de jeux de données diversifiés et qui présente des tâches plus réalistes. Nous expérimentons avec des baselines populaires et des méta-apprenants sur Meta-Dataset, ainsi qu'avec une méthode compétitive que nous proposons. Nous analysons les performances en fonction de diverses caractéristiques des tâches de test et examinons la capacité des modèles à tirer parti de sources d'entraînement variées pour améliorer leur généralisation. Nous proposons également un nouvel ensemble de baselines pour quantifier les avantages du méta-apprentissage dans Meta-Dataset. Nos expérimentations approfondies ont mis en lumière des défis importants pour la recherche, et nous espérons inspirer des travaux dans ces directions.