Apprentissage par méta-transfert pour l'apprentissage à faibles tirs

Le méta-apprentissage a été proposé comme un cadre pour aborder le contexte d'apprentissage à partir de peu d'exemples (few-shot learning). L'idée centrale est d'exploiter un grand nombre de tâches similaires à faible nombre d'exemples afin d'apprendre comment adapter un apprenant de base (base-learner) à une nouvelle tâche pour laquelle seules quelques échantillons étiquetés sont disponibles. Comme les réseaux neuronaux profonds (DNNs) ont tendance à surapprendre en utilisant seulement quelques échantillons, le méta-apprentissage utilise généralement des réseaux neuronaux peu profonds (SNNs), ce qui limite son efficacité. Dans cet article, nous proposons une nouvelle méthode d'apprentissage à partir de peu d'exemples appelée méta-transfert d'apprentissage (MTL) qui apprend à adapter un réseau neuronal profond (DNN) pour des tâches d'apprentissage à partir de peu d'exemples. Plus précisément, « méta » fait référence à l'entraînement sur plusieurs tâches, et « transfert » est réalisé par l'apprentissage de fonctions d'échelle et de décalage des poids du DNN pour chaque tâche. De plus, nous introduisons le schéma de lot méta (meta-batch) de tâches difficiles (HT) comme un programme pédagogique efficace pour le MTL. Nous menons des expériences en utilisant des tâches de reconnaissance (5-classes, 1-shot) et (5-classes, 5-shots) sur deux benchmarks difficiles d'apprentissage à partir de peu d'exemples : miniImageNet et Fewshot-CIFAR100. Des comparaisons approfondies avec des travaux connexes valident que notre approche de méta-transfert d'apprentissage formée avec le schéma de lot méta HT atteint des performances supérieures. Une étude par désactivation (ablation study) montre également que les deux composantes contribuent à une convergence rapide et à une haute précision.