HyperAIHyperAI

Command Palette

Search for a command to run...

Gegenüberstellung zur Aufteilung: Selbstüberwachtes Vor-Training zur Lernens mit verrauschten Etiketten

Evgenii Zheltonozhskii Chaim Baskin Avi Mendelson Alex M. Bronstein Or Litany

Zusammenfassung

Der Erfolg von Methoden zum Lernen mit verrauschten Labels (Learning with Noisy Labels, LNL) beruht stark auf dem Erfolg einer Warm-up-Phase, in der standardmäßig überwachtes Training unter Verwendung des vollständigen (verrauschten) Trainingsdatensatzes durchgeführt wird. In diesem Artikel identifizieren wir ein „Warm-up-Hindernis“: die Unfähigkeit herkömmlicher Warm-up-Phasen, hochwertige Merkmalsextraktoren zu trainieren und die Memorisation verrauschter Labels zu vermeiden. Wir schlagen „Contrast to Divide“ (C2D) vor, einen einfachen Rahmen, der dieses Problem löst, indem der Merkmalsextraktor vortrainiert wird, und zwar auf selbstüberwachter Basis. Die Verwendung selbstüberwachten Vortrainings verbessert die Leistung bestehender LNL-Ansätze erheblich, indem es die Anfälligkeit der Warm-up-Phase gegenüber Rauschniveau drastisch reduziert, die Dauer der Warm-up-Phase verkürzt und die Qualität der extrahierten Merkmale steigert. C2D ist kompatibel mit bestehenden Methoden und zeigt deutlich verbesserte Leistung, insbesondere im Bereich hoher Rauschniveaus, wo wir bei CIFAR-100 mit 90 % Rausch eine Steigerung um mehr als 27 % gegenüber dem vorherigen Stand der Technik erzielen. In realen Rausch-Szenarien übertrifft C2D, das auf mini-WebVision trainiert wurde, die bisherigen Arbeiten sowohl auf den WebVision- als auch auf den ImageNet-Validierungssets um 3 % Top-1-Accuracy. Wir führen eine detaillierte Analyse des Rahmens durch, einschließlich der Untersuchung der Leistung verschiedener Vortrainingsansätze und der Schätzung der effektiven oberen Grenze der LNL-Leistung unter Verwendung von semi-supervised Learning. Der Quellcode zur Reproduktion unserer Experimente ist unter https://github.com/ContrastToDivide/C2D verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Gegenüberstellung zur Aufteilung: Selbstüberwachtes Vor-Training zur Lernens mit verrauschten Etiketten | Paper | HyperAI