Robuste und on-the-fly Datensatz-Denoisierung für die Bildklassifikation

Die Memorisation in überparametrisierten neuronalen Netzwerken kann die Generalisierung erheblich beeinträchtigen, insbesondere wenn fehlerhaft beschriftete Beispiele vorliegen. Solche fehlerhaften Etiketten sind jedoch bei extrem großen Datensätzen, die mit schwacher Aufsicht gesammelt wurden, schwer zu vermeiden. Wir adressieren dieses Problem, indem wir gegenfaktisch über die Verlustverteilung von Beispielen mit gleichförmig zufälligen Etiketten nachdenken, als ob sie gemeinsam mit den echten Beispielen trainiert worden wären, und diese Information nutzen, um rauschbehaftete Beispiele aus dem Trainingsset zu entfernen. Zunächst stellen wir fest, dass Beispiele mit gleichförmig zufälligen Etiketten bei Training mit stochastischem Gradientenabstieg unter großen Lernraten höhere Verluste aufweisen. Anschließend schlagen wir vor, die Verlustverteilung der gegenfaktischen Beispiele ausschließlich anhand der Netzwerkparameter zu modellieren, was sich als äußerst erfolgreich erweist. Schließlich schlagen wir vor, Beispiele zu entfernen, deren Verlust einen bestimmten Quantilwert der modellierten Verlustverteilung überschreitet. Dies führt zu On-the-fly Data Denoising (ODD), einem einfachen, aber wirksamen Algorithmus, der robust gegenüber fehlerhaft beschrifteten Beispielen ist und im Vergleich zur Standardtrainingsschrittweise praktisch keine zusätzliche Rechenlast verursacht. ODD erreicht auf einer Vielzahl von Datensätzen, einschließlich realer Datensätze wie WebVision und Clothing1M, Ergebnisse auf State-of-the-Art-Niveau.