Zwei Falschheiten machen keine Richtigkeit: Bestehen der Bestätigungstendenz beim Lernen mit Label-Rauschen

Rauschende Labels schädigen die Leistung tiefer Netzwerke. Für einen robusten Lernprozess wird ein etablierter zweistufiger Ansatz verfolgt, der abwechselnd die Eliminierung möglicherweise falscher Labels und semi-supervised Training durchführt. Allerdings kann das Weglassen eines Teils der rauschenden Labels zu einem Informationsverlust führen, insbesondere wenn die Verfälschung datenabhängig ist, beispielsweise klassen- oder instanzabhängig. Darüber hinaus identifizieren wir im Trainingsverhalten eines repräsentativen zweistufigen Verfahrens, DivideMix, die Dominanz einer Bestätigungsverzerrung: Pseudolabels korrigieren eine erhebliche Anzahl von fehlerhaften Labels nicht, wodurch sich die Fehler akkumulieren. Um die Informationen aus rauschenden Labels optimal auszunutzen und falsche Korrekturen zu verringern, schlagen wir Robust Label Refurbishment (Robust LR) vor – eine neue hybride Methode, die Pseudolabeling- und Vertrauensschätzungstechniken integriert, um rauschende Labels zu verbessern. Wir zeigen, dass unsere Methode sowohl die Schäden durch Labelrauschen als auch durch Bestätigungsverzerrung effektiv verringert. Als Ergebnis erzielt sie state-of-the-art-Leistungen über verschiedene Datensätze und Rauschtypen hinweg, insbesondere auf CIFAR unter unterschiedlichen Schweregraden synthetischen Rauschens sowie auf Mini-WebVision und ANIMAL-10N mit echten, realweltbasierten Rauschmustern.