HyperAIHyperAI

Command Palette

Search for a command to run...

Verständnis der verallgemeinerten Label-Smoothing bei der Lernprozess mit verrauschten Labels

Yang Liu Gang Niu Tongliang Liu Hangyu Liu Jiaheng Wei

Zusammenfassung

Label Smoothing (LS) ist ein aufkommendes Lernparadigma, das das gewichtete Durchschnittsverhältnis aus harten Trainingslabels und gleichmäßig verteilten weichen Labels nutzt. Es wurde gezeigt, dass LS als Regularisierung für Daten mit harten Labels fungiert und somit die Generalisierungsfähigkeit des Modells verbessert. Später wurde berichtet, dass LS zudem bei der Arbeit mit fehlerhaften Labels zur Verbesserung der Robustheit beitragen kann. Allerdings stellen wir fest, dass der Vorteil von LS in einem hochgradig verrauschten Label-Szenario verloren geht. Diese Beobachtung veranlasste uns, zu untersuchen, warum dies der Fall ist. Dabei stellten wir fest, dass mehrere in der Literatur vorgeschlagene Ansätze zur Lernung mit fehlerhaften Labels tatsächlich enger mit der sogenannten negativen Label Smoothing (NLS) verwandt sind, bei der ein negatives Gewicht verwendet wird, um harte und weiche Labels zu kombinieren! Wir zeigen, dass NLS sich erheblich von LS in Bezug auf die erzielte Modellzuversicht unterscheidet. Um diese beiden Fälle klar voneinander abzugrenzen, bezeichnen wir LS fortan als positive Label Smoothing (PLS), und in dieser Arbeit integrieren wir PLS und NLS in ein gemeinsames Konzept, die verallgemeinerte Label Smoothing (GLS). Wir erläutern die Eigenschaften von GLS im Kontext des Lernens mit fehlerhaften Labels. Unter anderen etablierten Eigenschaften zeigen wir theoretisch, dass NLS bei hohen Fehlerquoten der Labels besonders vorteilhaft ist. Zudem liefern wir umfangreiche experimentelle Ergebnisse auf mehreren Benchmark-Datensätzen, die unsere Erkenntnisse unterstützen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verständnis der verallgemeinerten Label-Smoothing bei der Lernprozess mit verrauschten Labels | Paper | HyperAI