HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-Similarity Contrastive Learning

Emily Mu John Guttag Maggie Makar

Zusammenfassung

Gegeben eine Ähnlichkeitsmetrik lernen kontrastive Methoden eine Darstellung, in der ähnliche Beispiele zusammengezogen und dissimilare Beispiele voneinander entfernt werden. Kontrastive Lernverfahren wurden umfassend eingesetzt, um Darstellungen für Aufgaben zu erlernen, die von der Bildklassifikation bis zur Caption-Generierung reichen. Allerdings können bestehende kontrastive Lernansätze aufgrund der Vernachlässigung möglicher unterschiedlicher Ähnlichkeitsbeziehungen versagen, sich generalisierbar zu verhalten. In diesem Paper stellen wir eine neuartige Mehrfach-Ähnlichkeits-kontrastive Verlustfunktion (MSCon) vor, die generalisierbare Einbettungen durch die gemeinsame Nutzung von Supervision aus mehreren Ähnlichkeitsmetriken lernt. Unser Ansatz lernt automatisch gewichtete Kontrastierungs-Ähnlichkeiten basierend auf der Unsicherheit der jeweiligen Ähnlichkeitsmetrik, wodurch unsichere Aufgaben abgeschwächt werden und eine verbesserte Generalisierung auf neue, außerhalb des Trainingsdomänen liegende Aufgaben erreicht wird. Wir zeigen empirisch, dass Netzwerke, die mit MSCon trainiert wurden, sowohl in innerhalb- als auch außerhalb-des-Domänen-Szenarien die derzeitigen State-of-the-Art-Baselines übertreffen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp