HyperAIHyperAI

Command Palette

Search for a command to run...

Prototypische kontrastive Lernmethode für unüberwachte Darstellungen

Junnan Li Pan Zhou Caiming Xiong Steven C.H. Hoi

Zusammenfassung

Diese Arbeit präsentiert Prototypical Contrastive Learning (PCL), eine selbstüberwachte Darstellungslernmethode, die die grundlegenden Einschränkungen der instanzbasierten kontrastiven Lernansätze adressiert. PCL lernt nicht nur niedrigstufige Merkmale für die Aufgabe der Instanzunterscheidung, sondern kodiert insbesondere auch implizit semantische Strukturen der Daten in den gelernten Embedding-Räumen. Konkret führen wir Prototypen als latente Variablen ein, um die Maximum-Likelihood-Schätzung der Netzwerkparameter innerhalb eines Erwartungswert-Maximierung (Expectation-Maximization, EM)-Rahmens zu ermöglichen. Wir führen iterativ einen E-Schritt durch, bei dem die Verteilung der Prototypen mittels Clustering bestimmt wird, und einen M-Schritt, bei dem das Netzwerk mittels kontrastiver Lernverfahren optimiert wird. Wir schlagen die ProtoNCE-Verlustfunktion vor, eine verallgemeinerte Version der InfoNCE-Verlustfunktion für kontrastives Lernen, die die Darstellungen dazu anregt, näher an ihre zugewiesenen Prototypen zu liegen. PCL erreicht auf mehreren Benchmarks eine deutliche Verbesserung gegenüber aktuellen state-of-the-art-Methoden der instanzbasierten kontrastiven Lernverfahren, insbesondere in Szenarien mit geringen Ressourcen für Transfer-Lernen. Der Quellcode und vortrainierte Modelle sind unter https://github.com/salesforce/PCL verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp