HyperAIHyperAI
vor 2 Monaten

Unüberwachtes Modellieren von Label-Rauschen und Korrektur des Verlusts

Eric Arazo; Diego Ortego; Paul Albert; Noel E. O'Connor; Kevin McGuinness
Unüberwachtes Modellieren von Label-Rauschen und Korrektur des Verlusts
Abstract

Trotz ihrer Robustheit gegenüber geringfügigen Etikettierungsfehlern zeigen konvolutionale Neuronale Netze, die mit stochastischen Gradientenmethoden trainiert wurden, eine leichte Anpassung an zufällige Etiketten. Bei einer Mischung aus korrekten und fehlerhaft etikettierten Zielen neigen die Netze dazu, die korrekten vor den fehlerhaften anzupassen. Dies deutet darauf hin, dass ein geeigneter Zwei-Komponenten-Mischungsmodell als unüberwachtes generatives Modell der Stichprobenverlustwerte während des Trainings verwendet werden sollte, um eine Online-Schätzung der Wahrscheinlichkeit zu ermöglichen, dass ein Stichprobenetikett fehlerhaft ist. Insbesondere schlagen wir eine Beta-Mischung vor, um diese Wahrscheinlichkeit zu schätzen und den Verlust durch Rückgriff auf die Netzvorhersage (den sogenannten Bootstrapping-Verlust) zu korrigieren. Wir passen ferner die Mixup-Augmentierung an, um unseren Ansatz weiter voranzutreiben. Experimente mit CIFAR-10/100 und TinyImageNet zeigen eine Robustheit gegenüber Etikettierungsfehlern, die erheblich über dem aktuellen Stand der Technik liegt. Der Quellcode ist unter https://git.io/fjsvE verfügbar.