Apprentissage métacritique non supervisé par apprentissage contrastif pseudo-supervisé à faible exemplaire

L'apprentissage métaléarning non supervisé vise à acquérir des connaissances généralisables à travers une distribution de tâches construite à partir de données non étiquetées. Le défi principal réside dans la manière de concevoir des tâches diversifiées pour l'apprentissage métaléarning sans information d'étiquetage ; des travaux récents ont proposé de générer, par exemple, des pseudo-étiquettes à partir de représentations pré-entraînées ou de créer des échantillons synthétiques via des modèles génératifs. Toutefois, cette stratégie de construction de tâches est fondamentalement limitée en raison de sa forte dépendance aux pseudo-étiquettes fixes pendant l'apprentissage métaléarning, ainsi que de la qualité des représentations ou des échantillons générés. Pour surmonter ces limitations, nous proposons un cadre simple mais efficace d'apprentissage métaléarning non supervisé, baptisé Pseudo-supervised Contrast (PsCo), dédié à la classification à faible exemplaire. Inspirés par les récents progrès de l'apprentissage auto-supervisé, PsCo utilise un réseau à momentum et une file d'attente contenant les lots précédents afin d'améliorer la qualité des pseudo-étiquettes et de construire progressivement des tâches diversifiées. Nos expérimentations étendues démontrent que PsCo surpasser les méthodes existantes d'apprentissage métaléarning non supervisé sur diverses benchmarks de classification à faible exemplaire, tant dans le domaine que hors domaine. Nous montrons également que PsCo est facilement scalable à des benchmarks à grande échelle, tandis que les approches récentes de pointe en matière de métaléarning ne le sont pas.