Verständnis der verallgemeinerten Label-Smoothing bei der Lernprozess mit verrauschten Labels

Label Smoothing (LS) ist ein aufkommendes Lernparadigma, das das gewichtete Durchschnittsverhältnis aus harten Trainingslabels und gleichmäßig verteilten weichen Labels nutzt. Es wurde gezeigt, dass LS als Regularisierung für Daten mit harten Labels fungiert und somit die Generalisierungsfähigkeit des Modells verbessert. Später wurde berichtet, dass LS zudem bei der Arbeit mit fehlerhaften Labels zur Verbesserung der Robustheit beitragen kann. Allerdings stellen wir fest, dass der Vorteil von LS in einem hochgradig verrauschten Label-Szenario verloren geht. Diese Beobachtung veranlasste uns, zu untersuchen, warum dies der Fall ist. Dabei stellten wir fest, dass mehrere in der Literatur vorgeschlagene Ansätze zur Lernung mit fehlerhaften Labels tatsächlich enger mit der sogenannten negativen Label Smoothing (NLS) verwandt sind, bei der ein negatives Gewicht verwendet wird, um harte und weiche Labels zu kombinieren! Wir zeigen, dass NLS sich erheblich von LS in Bezug auf die erzielte Modellzuversicht unterscheidet. Um diese beiden Fälle klar voneinander abzugrenzen, bezeichnen wir LS fortan als positive Label Smoothing (PLS), und in dieser Arbeit integrieren wir PLS und NLS in ein gemeinsames Konzept, die verallgemeinerte Label Smoothing (GLS). Wir erläutern die Eigenschaften von GLS im Kontext des Lernens mit fehlerhaften Labels. Unter anderen etablierten Eigenschaften zeigen wir theoretisch, dass NLS bei hohen Fehlerquoten der Labels besonders vorteilhaft ist. Zudem liefern wir umfangreiche experimentelle Ergebnisse auf mehreren Benchmark-Datensätzen, die unsere Erkenntnisse unterstützen.