Skalierbare penalisierte Regression zur Rauschdetektion beim Lernen mit verrauschten Etiketten

Ein verrauschter Trainingsdatensatz führt typischerweise zu einer Verschlechterung der Generalisierbarkeit und Robustheit von neuronalen Netzwerken. In diesem Paper schlagen wir die Verwendung eines theoretisch garantierten Frameworks zur Erkennung von fehlerhaften Etiketten vor, um verrauschte Daten bei der Lernprozessierung mit verrauschten Etiketten (Learning with Noisy Labels, LNL) zu identifizieren und zu entfernen. Konkret entwerfen wir eine bestrafte Regression, um die lineare Beziehung zwischen Netzwerkmerkmalen und One-Hot-Etiketten zu modellieren, wobei verrauschte Daten durch die nicht-null Mittelwertverschiebungsparameter identifiziert werden, die in dem Regressionsmodell geschätzt werden. Um das Framework skalierbar zu gestalten für Datensätze mit einer großen Anzahl an Kategorien und umfangreichen Trainingsdaten, schlagen wir einen Aufteilungsalgorithmus vor, der den gesamten Trainingsdatensatz in kleinere Teile zerlegt, die parallel durch die bestraften Regression gelöst werden können, was das skalierbare bestrafte Regressionsframework (Scalable Penalized Regression, SPR) ermöglicht. Wir leiten eine nicht-asymptotische, probabilistische Bedingung her, unter der SPR die verrauschten Daten korrekt identifizieren kann. Während SPR als Modul zur Datenauswahl in einem herkömmlichen überwachten Trainingspipeline betrachtet werden kann, kombinieren wir es zudem mit einem halbüberwachten Lernalgorithmus, um den Beitrag der verrauschten Daten als unbeschriftete Daten weiter auszunutzen. Experimentelle Ergebnisse auf mehreren Benchmark-Datensätzen sowie realen Datensätzen mit Rauschen belegen die Wirksamkeit unseres Frameworks. Unser Code und vortrainierte Modelle sind unter https://github.com/Yikai-Wang/SPR-LNL verfügbar.