HyperAIHyperAI

Command Palette

Search for a command to run...

Zentrierte kontrastive Verlustfunktion für metrisches Lernen

Bolun Cai Pengfei Xiong Shangxuan Tian

Zusammenfassung

Kontrastives Lernen ist ein zentrales Forschungsthema im Bereich des Metrik-Lernens. Dennoch bleibt die Auswahl effektiver kontrastiver Paare aufgrund von Faktoren wie begrenzter Batch-Größe, ungleichmäßiger Datenauslastung und dem Risiko von Überanpassung eine Herausforderung. In diesem Paper stellen wir eine neuartige Metrik-Lernfunktion namens Center Contrastive Loss vor, die einen klassenweise zentrierten Speicher (Center Bank) verwendet und die Klassenzentren mit den Abfrage-Datenpunkten mittels eines kontrastiven Verlustes vergleicht. Der Zentrenspeicher wird in Echtzeit aktualisiert, wodurch die Modellkonvergenz beschleunigt wird, ohne dass eine sorgfältige Auswahl von Trainingsbeispielen erforderlich ist. Die Klassenzentren dienen als gut optimierte Klassifikationsproxies, um das Überwachungssignal jeder Klasse neu zu balancieren. Zudem kombiniert die vorgeschlagene Verlustfunktion die Vorteile sowohl des kontrastiven als auch des klassifikationsbasierten Ansatzes, indem sie die intra-klassische Variabilität reduziert und die inter-klassischen Unterschiede verstärkt, um die Diskriminativkraft der Embeddings zu verbessern. Unsere experimentellen Ergebnisse, wie in Abbildung 1 dargestellt, zeigen, dass ein Standardnetzwerk (ResNet50), das mit unserem Verlust trainiert wird, eine state-of-the-art-Leistung erzielt und schneller konvergiert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp