HyperAIHyperAI

Command Palette

Search for a command to run...

Zwei Falschheiten machen keine Richtigkeit: Bestehen der Bestätigungstendenz beim Lernen mit Label-Rauschen

Mingcai Chen Hao Cheng Yuntao Du Ming Xu Wenyu Jiang Chongjun Wang

Zusammenfassung

Rauschende Labels schädigen die Leistung tiefer Netzwerke. Für einen robusten Lernprozess wird ein etablierter zweistufiger Ansatz verfolgt, der abwechselnd die Eliminierung möglicherweise falscher Labels und semi-supervised Training durchführt. Allerdings kann das Weglassen eines Teils der rauschenden Labels zu einem Informationsverlust führen, insbesondere wenn die Verfälschung datenabhängig ist, beispielsweise klassen- oder instanzabhängig. Darüber hinaus identifizieren wir im Trainingsverhalten eines repräsentativen zweistufigen Verfahrens, DivideMix, die Dominanz einer Bestätigungsverzerrung: Pseudolabels korrigieren eine erhebliche Anzahl von fehlerhaften Labels nicht, wodurch sich die Fehler akkumulieren. Um die Informationen aus rauschenden Labels optimal auszunutzen und falsche Korrekturen zu verringern, schlagen wir Robust Label Refurbishment (Robust LR) vor – eine neue hybride Methode, die Pseudolabeling- und Vertrauensschätzungstechniken integriert, um rauschende Labels zu verbessern. Wir zeigen, dass unsere Methode sowohl die Schäden durch Labelrauschen als auch durch Bestätigungsverzerrung effektiv verringert. Als Ergebnis erzielt sie state-of-the-art-Leistungen über verschiedene Datensätze und Rauschtypen hinweg, insbesondere auf CIFAR unter unterschiedlichen Schweregraden synthetischen Rauschens sowie auf Mini-WebVision und ANIMAL-10N mit echten, realweltbasierten Rauschmustern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp