LongReMix: Robust Learning mit hochverlässlichen Samples in einer Umgebung mit verrauschten Labels

Tiefneuronale Netzwerkmodelle sind gegenüber einer begrenzten Menge an Label-Rauschen robust, doch ihre Fähigkeit, fehlerhafte Labels bei hohen Rauschraten zu memorisieren, bleibt weiterhin eine offene Frage. Die derzeit leistungsstärksten Algorithmen für das Lernen mit fehlerhaften Labels basieren auf einem zweistufigen Prozess: Zunächst erfolgt eine unsupervised-Lernphase zur Klassifikation der Trainingsbeispiele als sauber oder fehlerhaft, gefolgt von einer semi-supervised-Lernphase, die das empirische vicinale Risiko (EVR) minimiert, wobei eine beschriftete Menge aus als sauber klassifizierten Beispielen und eine unbeschriftete Menge aus als fehlerhaft klassifizierten Beispielen verwendet wird. In diesem Artikel vermuten wir, dass die Generalisierung solcher zweistufiger Methoden zur Behandlung fehlerhafter Labels von der Genauigkeit des unsupervised-Klassifikators sowie von der Größe des Trainingsdatensatzes abhängt, um das EVR zu minimieren. Wir überprüfen diese beiden Hypothesen empirisch und stellen den neuen zweistufigen Algorithmus zur Behandlung fehlerhafter Labels, LongReMix, vor. Wir testen LongReMix an den Benchmark-Datensätzen CIFAR-10, CIFAR-100, WebVision, Clothing1M und Food101-N. Die Ergebnisse zeigen, dass LongReMix im Vergleich zu konkurrierenden Ansätzen eine bessere Generalisierung erzielt, insbesondere bei hohen Rauschraten. Zudem erreicht unsere Methode in den meisten Datensätzen den Stand der Technik. Der Quellcode ist unter https://github.com/filipe-research/LongReMix verfügbar.