Unsupervised Meta-Learning durch Few-shot Pseudo-supervised Contrastive Learning

Unsupervised Meta-Learning zielt darauf ab, verallgemeinerbare Kenntnisse über eine Aufgabendistribution zu erlernen, die aus unlabeled Daten konstruiert wird. Hierbei stellt die Hauptherausforderung die Erstellung vielfältiger Aufgaben für das Meta-Learning ohne Verwendung von Labels dar. Kürzlich vorgeschlagene Ansätze schlagen beispielsweise die Erzeugung von Pseudolabels mittels vortrainierter Darstellungen oder die Generierung synthetischer Beispiele mittels generativer Modelle vor. Diese Strategien zur Aufgabenkonstruktion sind jedoch grundlegend eingeschränkt, da sie stark von unveränderlichen Pseudolabels während des Meta-Learning abhängen und von der Qualität der Darstellungen oder der generierten Beispiele beeinflusst werden. Um diese Einschränkungen zu überwinden, schlagen wir einen einfachen, aber effektiven Rahmen für unsupervised Meta-Learning vor, der als Pseudo-supervised Contrast (PsCo) bezeichnet wird, und der auf Few-Shot-Klassifikation ausgerichtet ist. Inspiriert durch die jüngste Literatur zum self-supervised Learning nutzt PsCo eine Momentum-Netzwerk-Struktur sowie eine Warteschlange vorheriger Batch-Teile, um die Pseudolabeling kontinuierlich zu verbessern und vielfältige Aufgaben schrittweise zu konstruieren. Unsere umfassenden Experimente zeigen, dass PsCo bestehende Methoden im unsupervised Meta-Learning unter verschiedenen in-domain- und cross-domain Few-Shot-Klassifikationsbenchmarks übertrifft. Zudem bestätigen wir, dass PsCo leicht skalierbar auf große Benchmark-Datenmengen ist, während jüngere State-of-the-Art-Meta-Schemata dies nicht ermöglichen.