CaCo: Sowohl positive als auch negative Samples sind direkt lernbar mittels kooperativ-adversarieller kontrastiver Lernmethodik

Als repräsentative Methode des selbstüberwachten Lernens hat das Contrastive Learning große Erfolge bei der unsupervisierten Trainings von Darstellungen erzielt. Es trainiert einen Encoder, indem es positive von negativen Proben unterscheidet, ausgehend von Query-Anker-Beispielen. Positive und negative Proben spielen dabei eine entscheidende Rolle bei der Definition der Ziel-Funktion, um einen diskriminativen Encoder zu lernen und zu verhindern, dass triviale Merkmale erlernt werden. Während bestehende Methoden diese Proben heuristisch auswählen, stellen wir eine prinzipielle Methode vor, bei der sowohl positive als auch negative Proben direkt end-to-end mit dem Encoder lernbar sind. Wir zeigen, dass positive und negative Proben kooperativ und adversarisch gelernt werden können, indem die Contrastive-Loss-Funktion minimiert bzw. maximiert wird. Dies führt zu kooperativen positiven und adversarischen negativen Proben im Hinblick auf den Encoder, die kontinuierlich aktualisiert werden, um die gelernten Darstellungen der Query-Anker über Mini-Batches hinweg stets zu verfolgen. Die vorgeschlagene Methode erreicht eine Top-1-Accuracy von 71,3 % und 75,3 % nach 200 bzw. 800 Epochen Vortrainings des ResNet-50-Backbones auf ImageNet1K, ohne auf Tricks wie Multi-Crop oder stärkere Datenaugmentationen zurückzugreifen. Mit Multi-Crop kann die Leistung zudem auf 75,7 % gesteigert werden. Der Quellcode und die vortrainierten Modelle sind unter https://github.com/maple-research-lab/caco verfügbar.