Zentrierte kontrastive Verlustfunktion für metrisches Lernen

Kontrastives Lernen ist ein zentrales Forschungsthema im Bereich des Metrik-Lernens. Dennoch bleibt die Auswahl effektiver kontrastiver Paare aufgrund von Faktoren wie begrenzter Batch-Größe, ungleichmäßiger Datenauslastung und dem Risiko von Überanpassung eine Herausforderung. In diesem Paper stellen wir eine neuartige Metrik-Lernfunktion namens Center Contrastive Loss vor, die einen klassenweise zentrierten Speicher (Center Bank) verwendet und die Klassenzentren mit den Abfrage-Datenpunkten mittels eines kontrastiven Verlustes vergleicht. Der Zentrenspeicher wird in Echtzeit aktualisiert, wodurch die Modellkonvergenz beschleunigt wird, ohne dass eine sorgfältige Auswahl von Trainingsbeispielen erforderlich ist. Die Klassenzentren dienen als gut optimierte Klassifikationsproxies, um das Überwachungssignal jeder Klasse neu zu balancieren. Zudem kombiniert die vorgeschlagene Verlustfunktion die Vorteile sowohl des kontrastiven als auch des klassifikationsbasierten Ansatzes, indem sie die intra-klassische Variabilität reduziert und die inter-klassischen Unterschiede verstärkt, um die Diskriminativkraft der Embeddings zu verbessern. Unsere experimentellen Ergebnisse, wie in Abbildung 1 dargestellt, zeigen, dass ein Standardnetzwerk (ResNet50), das mit unserem Verlust trainiert wird, eine state-of-the-art-Leistung erzielt und schneller konvergiert.