Multi-Similarity Contrastive Learning

Gegeben eine Ähnlichkeitsmetrik lernen kontrastive Methoden eine Darstellung, in der ähnliche Beispiele zusammengezogen und dissimilare Beispiele voneinander entfernt werden. Kontrastive Lernverfahren wurden umfassend eingesetzt, um Darstellungen für Aufgaben zu erlernen, die von der Bildklassifikation bis zur Caption-Generierung reichen. Allerdings können bestehende kontrastive Lernansätze aufgrund der Vernachlässigung möglicher unterschiedlicher Ähnlichkeitsbeziehungen versagen, sich generalisierbar zu verhalten. In diesem Paper stellen wir eine neuartige Mehrfach-Ähnlichkeits-kontrastive Verlustfunktion (MSCon) vor, die generalisierbare Einbettungen durch die gemeinsame Nutzung von Supervision aus mehreren Ähnlichkeitsmetriken lernt. Unser Ansatz lernt automatisch gewichtete Kontrastierungs-Ähnlichkeiten basierend auf der Unsicherheit der jeweiligen Ähnlichkeitsmetrik, wodurch unsichere Aufgaben abgeschwächt werden und eine verbesserte Generalisierung auf neue, außerhalb des Trainingsdomänen liegende Aufgaben erreicht wird. Wir zeigen empirisch, dass Netzwerke, die mit MSCon trainiert wurden, sowohl in innerhalb- als auch außerhalb-des-Domänen-Szenarien die derzeitigen State-of-the-Art-Baselines übertreffen.