Command Palette
Search for a command to run...
Prototypische kontrastive Lernmethode für unüberwachte Darstellungen
Prototypische kontrastive Lernmethode für unüberwachte Darstellungen
Junnan Li Pan Zhou Caiming Xiong Steven C.H. Hoi
Zusammenfassung
Diese Arbeit präsentiert Prototypical Contrastive Learning (PCL), eine selbstüberwachte Darstellungslernmethode, die die grundlegenden Einschränkungen der instanzbasierten kontrastiven Lernansätze adressiert. PCL lernt nicht nur niedrigstufige Merkmale für die Aufgabe der Instanzunterscheidung, sondern kodiert insbesondere auch implizit semantische Strukturen der Daten in den gelernten Embedding-Räumen. Konkret führen wir Prototypen als latente Variablen ein, um die Maximum-Likelihood-Schätzung der Netzwerkparameter innerhalb eines Erwartungswert-Maximierung (Expectation-Maximization, EM)-Rahmens zu ermöglichen. Wir führen iterativ einen E-Schritt durch, bei dem die Verteilung der Prototypen mittels Clustering bestimmt wird, und einen M-Schritt, bei dem das Netzwerk mittels kontrastiver Lernverfahren optimiert wird. Wir schlagen die ProtoNCE-Verlustfunktion vor, eine verallgemeinerte Version der InfoNCE-Verlustfunktion für kontrastives Lernen, die die Darstellungen dazu anregt, näher an ihre zugewiesenen Prototypen zu liegen. PCL erreicht auf mehreren Benchmarks eine deutliche Verbesserung gegenüber aktuellen state-of-the-art-Methoden der instanzbasierten kontrastiven Lernverfahren, insbesondere in Szenarien mit geringen Ressourcen für Transfer-Lernen. Der Quellcode und vortrainierte Modelle sind unter https://github.com/salesforce/PCL verfügbar.