HyperAIHyperAI

Command Palette

Search for a command to run...

Überwachtes kontrastives Lernen

Prannay Khosla Piotr Teterwak Chen Wang Aaron Sarna Yonglong Tian Phillip Isola Aaron Maschinot Ce Liu Dilip Krishnan

Zusammenfassung

In den letzten Jahren hat die kontrastive Lernmethode im Kontext selbstüberwachter Darstellungslernverfahren erneut an Bedeutung gewonnen und führt derzeit zu state-of-the-art-Leistungen bei der unsupervisierten Schulung tiefer Bildmodelle. Moderne Batch-basierte kontrastive Ansätze überflügeln oder übertrumpfen signifikant traditionelle kontrastive Verlustfunktionen wie Triplet-Loss, Max-Margin-Loss und N-Pairs-Loss. In dieser Arbeit erweitern wir den selbstüberwachten Batch-kontrastiven Ansatz auf den vollständig überwachten Fall, wodurch wir effektiv Label-Informationen nutzen können. Punktmengen, die derselben Klasse angehören, werden im Embedding-Raum zusammengezogen, während gleichzeitig Cluster von Proben aus unterschiedlichen Klassen voneinander entfernt werden. Wir analysieren zwei mögliche Formulierungen des supervisierten kontrastiven (SupCon-)Verlustes und identifizieren die leistungsstärkste Variante. Auf ResNet-200 erreichen wir eine Top-1-Accuracy von 81,4 % auf dem ImageNet-Datensatz, was 0,8 Prozentpunkte über dem bisher besten berichteten Wert für diese Architektur liegt. Wir zeigen eine konsistente Überlegenheit gegenüber der Kreuzentropie auf weiteren Datensätzen sowie zwei ResNet-Varianten. Der Verlust zeigt zudem Vorteile hinsichtlich Robustheit gegenüber natürlichen Verzerrungen und ist stabiler gegenüber Hyperparametereinstellungen wie Optimierern und Datenaugmentierungen. Unsere Verlustfunktion ist einfach zu implementieren, und der Referenz-Code in TensorFlow ist unter https://t.ly/supcon veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp