Erweiterungsstrategien für das Lernen mit verrauschten Labels

Unvollkommene Etikettierungen sind in realen Datensätzen allgegenwärtig. Mehrere kürzlich erfolgreiche Methoden zur Schulung tiefer neuronalen Netze (DNNs), die robust gegenüber Etikettierungsrauschen sind, haben zwei zentrale Techniken verwendet: das Filtern von Beispielen basierend auf dem Verlust während einer Aufwärmphase zur Erstellung einer initialen Menge sauber etikettierter Beispiele sowie die Verwendung der Netzwerk-Ausgabe als Pseudo-Etikett für nachfolgende Verlustberechnungen. In diesem Paper evaluieren wir verschiedene Erweiterungsstrategien für Algorithmen, die sich mit dem Problem des „Lernens mit verrauschten Etiketten“ beschäftigen. Wir schlagen mehrere Erweiterungsstrategien vor und untersuchen diese anhand synthetischer Datensätze auf Basis von CIFAR-10 und CIFAR-100 sowie am realen Datensatz Clothing1M. Aufgrund mehrerer gemeinsamer Merkmale dieser Algorithmen stellen wir fest, dass die Verwendung einer Erweiterungsmenge für die Verlustmodellierung und einer anderen Menge für das Lernen am effektivsten ist, wodurch die Ergebnisse sowohl bei der Stand der Technik als auch bei früheren Methoden verbessert werden. Zudem beobachten wir, dass die Anwendung von Erweiterungen während der Aufwärmphase die Konvergenz des Verlusts für korrekt gegenüber falsch etikettierten Beispielen negativ beeinflussen kann. Wir integrieren diese Erweiterungsstrategie in die aktuell beste Technik und zeigen, dass sich die Leistung bei allen untersuchten Rauschniveaus verbessern lässt. Insbesondere steigern wir die Genauigkeit auf dem CIFAR-10-Testbenchmark bei 90 % symmetrischem Rauschen um mehr als 15 Prozentpunkte absolut und verbessern zudem die Leistung auf dem Clothing1M-Datensatz.(K. Nishi und Y. Ding haben zu diesem Werk gleichwertig beigetragen)