UNICON: Bekämpfung von Label-Rauschen durch uniforme Auswahl und kontrastives Lernen

Überwachte Deep-Learning-Methoden erfordern eine große Datenbank annotierter Daten; daher ist Label-Rauschen unvermeidlich. Die Schulung mit solchen verrauschten Daten beeinträchtigt negativ die Generalisierungsfähigkeit tiefer neuronalen Netze. Um Label-Rauschen entgegenzuwirken, setzen aktuelle State-of-the-Art-Methoden eine Art Stichprobenauswahlmechanismus ein, um möglicherweise saubere Teilmengen der Daten auszuwählen. Anschließend wird eine kommerziell erhältliche semi-supervised-Lernmethode für die Schulung verwendet, wobei zurückgewiesene Stichproben als unbeschriftete Daten behandelt werden. Unsere umfassende Analyse zeigt, dass aktuelle Auswahlmethoden Proben aus einfachen (schnell lernbaren) Klassen überproportional auswählen, während solche aus schwierigeren Klassen abgelehnt werden. Dies führt zu einer Klassenungleichgewicht in der ausgewählten sauberen Menge und verschlechtert in Folge die Leistung bei hohem Label-Rauschen. In dieser Arbeit stellen wir UNICON vor, eine einfache, jedoch wirksame Stichprobenauswahlmethode, die robust gegenüber hohem Label-Rauschen ist. Um die überproportionale Auswahl einfacher und schwieriger Proben zu beheben, führen wir einen auf der Jensen-Shannon-Divergenz basierenden uniformen Auswahlmechanismus ein, der keiner probabilistischen Modellierung und Hyperparameter-Tuning bedarf. Wir ergänzen unsere Auswahlmethode durch kontrastives Lernen, um die Memorisation verrauschter Labels weiter zu bekämpfen. Umfangreiche Experimente auf mehreren Benchmark-Datensätzen belegen die Wirksamkeit von UNICON; wir erreichen eine Verbesserung um 11,4 % gegenüber dem aktuellen State of the Art auf dem CIFAR100-Datensatz bei einer Rauschrate von 90 %. Unser Code ist öffentlich verfügbar.