HyperAIHyperAI

Command Palette

Search for a command to run...

Meta-GMVAE : Mélange de VAE Gaussiens pour l'Apprentissage Métas non supervisé

Sung Ju Hwang Seanie Lee Dongchan Min Dong Bok Lee

Résumé

L’apprentissage non supervisé vise à apprendre des représentations significatives à partir de données non étiquetées, en capturant ainsi la structure intrinsèque de ces données, qui peuvent ensuite être transférées à des tâches ultérieures. L’apprentissage métacognitif, dont l’objectif est d’apprendre à généraliser sur plusieurs tâches de manière à ce que le modèle appris puisse s’adapter rapidement à une nouvelle tâche, partage l’esprit de l’apprentissage non supervisé, dans la mesure où les deux visent à apprendre une procédure d’apprentissage plus efficace et plus performante que l’apprentissage à partir de zéro. La différence fondamentale entre les deux réside dans le fait que la plupart des approches d’apprentissage métacognitif sont supervisées, supposant un accès complet aux étiquettes. Toutefois, la collecte d’un ensemble de données étiquetées pour l’entraînement métacognitif est coûteuse, car elle nécessite un effort humain important, et limite également les applications à des distributions de tâches prédéfinies. Dans ce travail, nous proposons un modèle d’apprentissage métacognitif non supervisé fondé sur une approche rigoureuse, nommé Meta-GMVAE, basé sur le modèle d’auto-encodeur variationnel (VAE) et une inférence variationnelle au niveau de l’ensemble. En outre, nous introduisons un prior mixte de Gaussiennes (GMM), en supposant que chaque modalité représente un concept de classe dans un épisode aléatoirement échantillonné, que nous optimisons à l’aide de l’algorithme d’Expectation-Maximization (EM). Le modèle appris peut ensuite être utilisé pour des tâches de classification à faibles exemples en aval, où nous obtenons des paramètres spécifiques à la tâche en appliquant une version semi-supervisée de l’algorithme EM sur les représentations latentes des ensembles de support et de requête, et prédisons les étiquettes de l’ensemble de requête en calculant des postérieurs agrégés. Nous validons notre modèle sur les jeux de données Omniglot et Mini-ImageNet en évaluant ses performances sur des tâches de classification à faibles exemples en aval. Les résultats montrent que notre modèle obtient des gains impressionnants par rapport aux méthodes existantes d’apprentissage métacognitif non supervisé, et même surpasse, dans certains cas, la méthode supervisée MAML.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp