Gegenüberstellung zur Aufteilung: Selbstüberwachtes Vor-Training zur Lernens mit verrauschten Etiketten

Der Erfolg von Methoden zum Lernen mit verrauschten Labels (Learning with Noisy Labels, LNL) beruht stark auf dem Erfolg einer Warm-up-Phase, in der standardmäßig überwachtes Training unter Verwendung des vollständigen (verrauschten) Trainingsdatensatzes durchgeführt wird. In diesem Artikel identifizieren wir ein „Warm-up-Hindernis“: die Unfähigkeit herkömmlicher Warm-up-Phasen, hochwertige Merkmalsextraktoren zu trainieren und die Memorisation verrauschter Labels zu vermeiden. Wir schlagen „Contrast to Divide“ (C2D) vor, einen einfachen Rahmen, der dieses Problem löst, indem der Merkmalsextraktor vortrainiert wird, und zwar auf selbstüberwachter Basis. Die Verwendung selbstüberwachten Vortrainings verbessert die Leistung bestehender LNL-Ansätze erheblich, indem es die Anfälligkeit der Warm-up-Phase gegenüber Rauschniveau drastisch reduziert, die Dauer der Warm-up-Phase verkürzt und die Qualität der extrahierten Merkmale steigert. C2D ist kompatibel mit bestehenden Methoden und zeigt deutlich verbesserte Leistung, insbesondere im Bereich hoher Rauschniveaus, wo wir bei CIFAR-100 mit 90 % Rausch eine Steigerung um mehr als 27 % gegenüber dem vorherigen Stand der Technik erzielen. In realen Rausch-Szenarien übertrifft C2D, das auf mini-WebVision trainiert wurde, die bisherigen Arbeiten sowohl auf den WebVision- als auch auf den ImageNet-Validierungssets um 3 % Top-1-Accuracy. Wir führen eine detaillierte Analyse des Rahmens durch, einschließlich der Untersuchung der Leistung verschiedener Vortrainingsansätze und der Schätzung der effektiven oberen Grenze der LNL-Leistung unter Verwendung von semi-supervised Learning. Der Quellcode zur Reproduktion unserer Experimente ist unter https://github.com/ContrastToDivide/C2D verfügbar.