Command Palette
Search for a command to run...
Unüberwachtes Lernen visueller Merkmale durch Kontrastierung von Clusterzuweisungen
Unüberwachtes Lernen visueller Merkmale durch Kontrastierung von Clusterzuweisungen
Mathilde Caron Ishan Misra Julien Mairal Priya Goyal Piotr Bojanowski Armand Joulin
Zusammenfassung
Unüberwachte Bildrepräsentationen haben die Lücke zu überwachten Vortrainingsverfahren erheblich verkleinert, insbesondere durch die jüngsten Fortschritte kontrastiver Lernmethoden. Diese kontrastiven Ansätze arbeiten typischerweise online und beruhen auf einer großen Anzahl expliziter paarweiser Merkmalsvergleiche, was rechnerisch herausfordernd ist. In diesem Paper stellen wir einen online trainierbaren Algorithmus, SwAV, vor, der die Vorteile kontrastiver Methoden nutzt, ohne paarweise Vergleiche zwischen Merkmalen durchführen zu müssen. Konkret klustert unsere Methode die Daten gleichzeitig und stellt eine Konsistenz zwischen den Clusterzuweisungen sicher, die für verschiedene Augmentierungen (oder Ansichten) derselben Bilddatei erzeugt werden, anstatt Merkmale direkt zu vergleichen wie bei kontrastivem Lernen. Vereinfacht ausgedrückt verwenden wir eine vertauschte Vorhersage-Mechanismus, bei dem wir die Clusterzuweisung einer Ansicht aus der Darstellung einer anderen Ansicht vorhersagen. Unser Ansatz kann sowohl mit großen als auch mit kleinen Batch-Größen trainiert werden und skaliert nahezu unbegrenzt auf große Datenmengen. Im Vergleich zu früheren kontrastiven Methoden ist unsere Methode speicher-effizienter, da sie weder einen großen Speicherbank noch ein spezielles Momentum-Netzwerk benötigt. Darüber hinaus schlagen wir eine neue Daten-Augmentierungsstrategie, Multi-Crop, vor, die eine Mischung aus Ansichten mit unterschiedlichen Auflösungen anstelle von zwei vollauflösenden Ansichten verwendet, ohne die Speicher- oder Rechenanforderungen signifikant zu erhöhen. Wir bestätigen unsere Ergebnisse durch eine Top-1-Accuracy von 75,3 % auf ImageNet mit ResNet-50 sowie durch eine Überlegenheit gegenüber überwachtem Vortraining bei allen betrachteten Transfer-Aufgaben.