SynCo: Synthetische Hard Negatives für kontrastives visuelles Repräsentationslernen

Contrastives Lernen ist zu einem führenden Ansatz im Bereich des selbstüberwachten Lernens visueller Repräsentationen geworden, doch die effiziente Nutzung von schweren Negativen, die Stichproben sind, die dem Anker sehr ähnlich sehen, bleibt eine Herausforderung. Wir stellen SynCo (Synthetische Negativen im Contrastive Learning) vor, einen neuen Ansatz, der die Modellleistung durch die Generierung synthetischer schwerer Negativer im Repräsentationsraum verbessert. Aufbauend auf dem MoCo-Framework führt SynCo sechs Strategien ein, um vielfältige synthetische schwere Negativen in Echtzeit mit minimalem rechnerischen Overhead zu erzeugen. SynCo erreicht eine schnellere Trainingszeit und robustes Lernen von Repräsentationen, übertreffen MoCo-v2 um +0,4 % und MoCHI um +1,0 % bei der linearen Auswertung auf ImageNet ILSVRC-2012. Es transferiert auch effektiver auf Detektionsaufgaben und erzielt starke Ergebnisse bei der Detektion auf PASCAL VOC (57,2 % AP) sowie signifikante Verbesserungen gegenüber MoCo-v2 bei der Detektion auf COCO (+1,0 % AP) und der Instanzsegmentierung (+0,8 % AP). Unser Ansatz zur Generierung synthetischer schwerer Negativer verbessert die durch selbstüberwachtes contrastives Lernen gelernten visuellen Repräsentationen erheblich.