Meta-GMVAE : Mélange de VAE Gaussiens pour l'Apprentissage Métas non supervisé

L’apprentissage non supervisé vise à apprendre des représentations significatives à partir de données non étiquetées, en capturant ainsi la structure intrinsèque de ces données, qui peuvent ensuite être transférées à des tâches ultérieures. L’apprentissage métacognitif, dont l’objectif est d’apprendre à généraliser sur plusieurs tâches de manière à ce que le modèle appris puisse s’adapter rapidement à une nouvelle tâche, partage l’esprit de l’apprentissage non supervisé, dans la mesure où les deux visent à apprendre une procédure d’apprentissage plus efficace et plus performante que l’apprentissage à partir de zéro. La différence fondamentale entre les deux réside dans le fait que la plupart des approches d’apprentissage métacognitif sont supervisées, supposant un accès complet aux étiquettes. Toutefois, la collecte d’un ensemble de données étiquetées pour l’entraînement métacognitif est coûteuse, car elle nécessite un effort humain important, et limite également les applications à des distributions de tâches prédéfinies. Dans ce travail, nous proposons un modèle d’apprentissage métacognitif non supervisé fondé sur une approche rigoureuse, nommé Meta-GMVAE, basé sur le modèle d’auto-encodeur variationnel (VAE) et une inférence variationnelle au niveau de l’ensemble. En outre, nous introduisons un prior mixte de Gaussiennes (GMM), en supposant que chaque modalité représente un concept de classe dans un épisode aléatoirement échantillonné, que nous optimisons à l’aide de l’algorithme d’Expectation-Maximization (EM). Le modèle appris peut ensuite être utilisé pour des tâches de classification à faibles exemples en aval, où nous obtenons des paramètres spécifiques à la tâche en appliquant une version semi-supervisée de l’algorithme EM sur les représentations latentes des ensembles de support et de requête, et prédisons les étiquettes de l’ensemble de requête en calculant des postérieurs agrégés. Nous validons notre modèle sur les jeux de données Omniglot et Mini-ImageNet en évaluant ses performances sur des tâches de classification à faibles exemples en aval. Les résultats montrent que notre modèle obtient des gains impressionnants par rapport aux méthodes existantes d’apprentissage métacognitif non supervisé, et même surpasse, dans certains cas, la méthode supervisée MAML.