HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verständnis der verallgemeinerten Label-Smoothing bei der Lernprozess mit verrauschten Labels

{Yang Liu Gang Niu Tongliang Liu Hangyu Liu Jiaheng Wei}

Verständnis der verallgemeinerten Label-Smoothing bei der Lernprozess mit verrauschten Labels

Abstract

Label Smoothing (LS) ist ein aufkommendes Lernparadigma, das das gewichtete Durchschnittsverhältnis aus harten Trainingslabels und gleichmäßig verteilten weichen Labels nutzt. Es wurde gezeigt, dass LS als Regularisierung für Daten mit harten Labels fungiert und somit die Generalisierungsfähigkeit des Modells verbessert. Später wurde berichtet, dass LS zudem bei der Arbeit mit fehlerhaften Labels zur Verbesserung der Robustheit beitragen kann. Allerdings stellen wir fest, dass der Vorteil von LS in einem hochgradig verrauschten Label-Szenario verloren geht. Diese Beobachtung veranlasste uns, zu untersuchen, warum dies der Fall ist. Dabei stellten wir fest, dass mehrere in der Literatur vorgeschlagene Ansätze zur Lernung mit fehlerhaften Labels tatsächlich enger mit der sogenannten negativen Label Smoothing (NLS) verwandt sind, bei der ein negatives Gewicht verwendet wird, um harte und weiche Labels zu kombinieren! Wir zeigen, dass NLS sich erheblich von LS in Bezug auf die erzielte Modellzuversicht unterscheidet. Um diese beiden Fälle klar voneinander abzugrenzen, bezeichnen wir LS fortan als positive Label Smoothing (PLS), und in dieser Arbeit integrieren wir PLS und NLS in ein gemeinsames Konzept, die verallgemeinerte Label Smoothing (GLS). Wir erläutern die Eigenschaften von GLS im Kontext des Lernens mit fehlerhaften Labels. Unter anderen etablierten Eigenschaften zeigen wir theoretisch, dass NLS bei hohen Fehlerquoten der Labels besonders vorteilhaft ist. Zudem liefern wir umfangreiche experimentelle Ergebnisse auf mehreren Benchmark-Datensätzen, die unsere Erkenntnisse unterstützen.

Benchmarks

BenchmarkMethodikMetriken
learning-with-noisy-labels-on-cifar-10n-worstNegative-LS
Accuracy (mean): 82.99

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verständnis der verallgemeinerten Label-Smoothing bei der Lernprozess mit verrauschten Labels | Forschungsarbeiten | HyperAI