Trainingsklassifikatoren, die universell robust gegenüber allen Rauschniveaus der Etikettierung sind

Bei Klassifizierungsaufgaben sind tiefe neuronale Netze anfällig für Überanpassung in Gegenwart von Label-Rauschen. Obwohl bestehende Methoden dieses Problem bei niedrigen Rauschpegeln erfolgreich mildern können, zeigen sie bei hohen Rauschpegeln oder sogar bei mittleren Rauschpegeln bei asymmetrischem Label-Rauschen erhebliche Leistungseinbußen. Um Klassifizierer zu trainieren, die universell robust gegenüber allen Rauschpegeln sind und nicht empfindlich auf Variationen im Rauschmodell reagieren, schlagen wir einen auf Distillation basierenden Rahmen vor, der eine neue Unterklasse des Positive-Unlabeled-Lernens integriert. Insbesondere gehen wir davon aus, dass eine kleine Teilmenge eines gegebenen Rauschdatensatzes als korrekt gelabelt bekannt ist, die wir als „positiv“ behandeln, während der restliche, fehlerbehaftete Teil als „unlabelt“ betrachtet wird. Unser Rahmen besteht aus zwei Komponenten: (1) Wir generieren durch iterative Aktualisierungen eine erweiterte, saubere Teilmenge mit zusätzlichen zuverlässigen „positiven“ Beispielen, die aus den „unlabelt“-Beispielen gefiltert werden; (2) Wir trainieren ein Lehrmodell auf dieser erweiterten, sauberen Datensammlung. Unter Anleitung des Lehrmodells trainieren wir anschließend ein Schülermodell auf dem gesamten Datensatz. Experimente wurden auf dem CIFAR-10-Datensatz mit synthetischem Label-Rauschen bei mehreren Rauschpegeln sowohl für symmetrisches als auch für asymmetrisches Rauschen durchgeführt. Die Ergebnisse zeigen, dass unser Rahmen bei mittleren bis hohen Rauschpegeln im Allgemeinen die Leistung übertrifft. Zudem haben wir unseren Ansatz auf Clothing1M, einem realen, rauschbehafteten Datensatz, evaluiert und konnten eine Verbesserung der Genauigkeit um 2,94 % gegenüber bestehenden State-of-the-Art-Methoden erzielen.