Effiziente visuelle Vortrainierung mit kontrastiver Detektion

Selbstüberwachtes Vortrainieren hat sich als äußerst leistungsfähig für Transferlernen erwiesen. Diese Leistungssteigerungen gehen jedoch mit einem erheblichen Rechenaufwand einher, wobei state-of-the-art-Methoden eine um eine Größenordnung höhere Rechenleistung erfordern als überwachtes Vortrainieren. Wir adressieren diese rechnerische Engstelle, indem wir ein neues selbstüberwachtes Ziel einführen, das sogenannte contrastive detection, bei dem die Darstellungen dazu angehalten werden, objektbasierte Merkmale über verschiedene Daten-Augmentierungen hinweg zu erkennen. Dieses Ziel extrahiert pro Bild ein reichhaltiges Lernsignal, was zu state-of-the-art-Transfergenauigkeiten auf einer Vielzahl von Downstream-Aufgaben führt, während bis zu 10-mal weniger Vortrainingszeit erforderlich ist. Insbesondere erreicht unser stärkstes Modell, das auf ImageNet vortrainiert wurde, eine Leistung, die mit SEER, einem der bisher größten selbstüberwachten Systeme, vergleichbar ist – trotz einer Nutzung von 1000-mal weniger Vortrainingsdaten. Schließlich verarbeitet unser Ansatz nahtlos Vortrainieren auf komplexeren Bildern wie jenen aus COCO und schließt die Lücke gegenüber dem überwachten Transferlernen von COCO zu PASCAL.