HyperAIHyperAI

Command Palette

Search for a command to run...

Unüberwachtes Modellieren von Label-Rauschen und Korrektur des Verlusts

Eric Arazo Diego Ortego Paul Albert Noel E. O’Connor Kevin McGuinness

Zusammenfassung

Trotz ihrer Robustheit gegenüber geringfügigen Etikettierungsfehlern zeigen konvolutionale Neuronale Netze, die mit stochastischen Gradientenmethoden trainiert wurden, eine leichte Anpassung an zufällige Etiketten. Bei einer Mischung aus korrekten und fehlerhaft etikettierten Zielen neigen die Netze dazu, die korrekten vor den fehlerhaften anzupassen. Dies deutet darauf hin, dass ein geeigneter Zwei-Komponenten-Mischungsmodell als unüberwachtes generatives Modell der Stichprobenverlustwerte während des Trainings verwendet werden sollte, um eine Online-Schätzung der Wahrscheinlichkeit zu ermöglichen, dass ein Stichprobenetikett fehlerhaft ist. Insbesondere schlagen wir eine Beta-Mischung vor, um diese Wahrscheinlichkeit zu schätzen und den Verlust durch Rückgriff auf die Netzvorhersage (den sogenannten Bootstrapping-Verlust) zu korrigieren. Wir passen ferner die Mixup-Augmentierung an, um unseren Ansatz weiter voranzutreiben. Experimente mit CIFAR-10/100 und TinyImageNet zeigen eine Robustheit gegenüber Etikettierungsfehlern, die erheblich über dem aktuellen Stand der Technik liegt. Der Quellcode ist unter https://git.io/fjsvE verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Unüberwachtes Modellieren von Label-Rauschen und Korrektur des Verlusts | Paper | HyperAI