HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage métacritique non supervisé par apprentissage contrastif pseudo-supervisé à faible exemplaire

Huiwon Jang Hankook Lee Jinwoo Shin

Résumé

L'apprentissage métaléarning non supervisé vise à acquérir des connaissances généralisables à travers une distribution de tâches construite à partir de données non étiquetées. Le défi principal réside dans la manière de concevoir des tâches diversifiées pour l'apprentissage métaléarning sans information d'étiquetage ; des travaux récents ont proposé de générer, par exemple, des pseudo-étiquettes à partir de représentations pré-entraînées ou de créer des échantillons synthétiques via des modèles génératifs. Toutefois, cette stratégie de construction de tâches est fondamentalement limitée en raison de sa forte dépendance aux pseudo-étiquettes fixes pendant l'apprentissage métaléarning, ainsi que de la qualité des représentations ou des échantillons générés. Pour surmonter ces limitations, nous proposons un cadre simple mais efficace d'apprentissage métaléarning non supervisé, baptisé Pseudo-supervised Contrast (PsCo), dédié à la classification à faible exemplaire. Inspirés par les récents progrès de l'apprentissage auto-supervisé, PsCo utilise un réseau à momentum et une file d'attente contenant les lots précédents afin d'améliorer la qualité des pseudo-étiquettes et de construire progressivement des tâches diversifiées. Nos expérimentations étendues démontrent que PsCo surpasser les méthodes existantes d'apprentissage métaléarning non supervisé sur diverses benchmarks de classification à faible exemplaire, tant dans le domaine que hors domaine. Nous montrons également que PsCo est facilement scalable à des benchmarks à grande échelle, tandis que les approches récentes de pointe en matière de métaléarning ne le sont pas.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp