HyperAIHyperAI
il y a 2 mois

Apprentissage non supervisé par few-shot via les cartes propres de Laplace approfondies

Kuilin Chen; Chi-Guhn Lee
Apprentissage non supervisé par few-shot via les cartes propres de Laplace approfondies
Résumé

L'apprentissage d'une nouvelle tâche à partir de quelques exemples reste un défi ouvert en apprentissage automatique. Malgré les progrès récents dans l'apprentissage par few-shot, la plupart des méthodes s'appuient sur une préformation supervisée ou une méta-apprentissage sur des données métatrain étiquetées et ne peuvent pas être appliquées au cas où les données de préformation sont non étiquetées. Dans cette étude, nous présentons une méthode d'apprentissage par few-shot non supervisée via les cartes propres profondes de Laplace (deep Laplacian eigenmaps). Notre méthode apprend des représentations à partir de données non étiquetées en regroupant des échantillons similaires et peut être interprétée intuitivement par des marches aléatoires sur des données d'entraînement augmentées. Nous montrons analytiquement comment les cartes propres profondes de Laplace évitent la représentation effondrée en apprentissage non supervisé sans comparaison explicite entre les échantillons positifs et négatifs. La méthode proposée réduit considérablement l'écart de performance entre l'apprentissage par few-shot supervisé et non supervisé. Notre méthode atteint également des performances comparables aux méthodes actuelles d'apprentissage auto-supervisé sous le protocole d'évaluation linéaire.