Complétion de prototype pour l'apprentissage peu supervisé

L’apprentissage à peu de exemples vise à reconnaître des classes nouvelles à partir de très peu d’exemples. Les méthodes basées sur le pré-entraînement abordent efficacement ce problème en pré-entraînant un extracteur de caractéristiques, puis en le fine-tunant via une méta-apprentissage fondé sur le centroïde le plus proche. Toutefois, les résultats montrent que l’étape de fine-tuning apporte des améliorations marginales. Dans cet article, 1) nous identifions la cause de ce phénomène : dans l’espace de caractéristiques pré-entraîné, les classes de base forment déjà des groupes compacts, tandis que les classes nouvelles sont réparties en groupes aux variances importantes, ce qui implique qu’un fine-tuning de l’extracteur de caractéristiques est moins pertinent ; 2) au lieu de fine-tuner l’extracteur de caractéristiques, nous nous concentrons sur l’estimation de prototypes plus représentatifs. En conséquence, nous proposons un nouveau cadre de méta-apprentissage basé sur la complétion de prototypes. Ce cadre introduit d’abord des connaissances primitives (c’est-à-dire des annotations au niveau de la partie ou de l’attribut de classe) et extrait des caractéristiques représentatives pour les attributs observés, utilisées comme a priori. Ensuite, un réseau de transfert de parties/attributs est conçu pour apprendre à inférer les caractéristiques représentatives des attributs non observés, servant de compléments aux a priori. Enfin, un réseau de complétion de prototypes est conçu pour apprendre à compléter les prototypes à partir de ces a priori. Par ailleurs, afin de limiter les erreurs de complétion des prototypes, nous développons également une stratégie de fusion de prototypes basée sur une loi gaussienne, qui combine les prototypes basés sur la moyenne et les prototypes complétés en exploitant les échantillons non étiquetés. Des expériences étendues montrent que notre méthode : (i) obtient des prototypes plus précis ; (ii) atteint des performances supérieures dans les deux cadres d’apprentissage à peu de exemples, inductif et transductif.