HyperAIHyperAI

Command Palette

Search for a command to run...

Unsupervised Meta-Learning durch Few-shot Pseudo-supervised Contrastive Learning

Huiwon Jang Hankook Lee Jinwoo Shin

Zusammenfassung

Unsupervised Meta-Learning zielt darauf ab, verallgemeinerbare Kenntnisse über eine Aufgabendistribution zu erlernen, die aus unlabeled Daten konstruiert wird. Hierbei stellt die Hauptherausforderung die Erstellung vielfältiger Aufgaben für das Meta-Learning ohne Verwendung von Labels dar. Kürzlich vorgeschlagene Ansätze schlagen beispielsweise die Erzeugung von Pseudolabels mittels vortrainierter Darstellungen oder die Generierung synthetischer Beispiele mittels generativer Modelle vor. Diese Strategien zur Aufgabenkonstruktion sind jedoch grundlegend eingeschränkt, da sie stark von unveränderlichen Pseudolabels während des Meta-Learning abhängen und von der Qualität der Darstellungen oder der generierten Beispiele beeinflusst werden. Um diese Einschränkungen zu überwinden, schlagen wir einen einfachen, aber effektiven Rahmen für unsupervised Meta-Learning vor, der als Pseudo-supervised Contrast (PsCo) bezeichnet wird, und der auf Few-Shot-Klassifikation ausgerichtet ist. Inspiriert durch die jüngste Literatur zum self-supervised Learning nutzt PsCo eine Momentum-Netzwerk-Struktur sowie eine Warteschlange vorheriger Batch-Teile, um die Pseudolabeling kontinuierlich zu verbessern und vielfältige Aufgaben schrittweise zu konstruieren. Unsere umfassenden Experimente zeigen, dass PsCo bestehende Methoden im unsupervised Meta-Learning unter verschiedenen in-domain- und cross-domain Few-Shot-Klassifikationsbenchmarks übertrifft. Zudem bestätigen wir, dass PsCo leicht skalierbar auf große Benchmark-Datenmengen ist, während jüngere State-of-the-Art-Meta-Schemata dies nicht ermöglichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp