Lernen aus verrauschten Etiketten mit einem entkoppelten Meta-Etikettensäuberer

Das Training tiefer neuronaler Netze (DNN) mit verrauschten Etiketten ist herausfordernd, da DNN tendenziell ungenaue Etiketten leicht memorisieren, was zu einer schlechten Generalisierungsfähigkeit führt. In jüngster Zeit wird verstärkt eine auf Meta-Learning basierende Etikettkorrekturstrategie eingesetzt, um dieses Problem zu bewältigen, indem mit Hilfe einer kleinen Menge sauberer Validierungsdaten potenziell verrauschte Etiketten identifiziert und korrigiert werden. Obwohl das Training mit gereinigten Etiketten die Leistung effektiv verbessern kann, erfordert die Lösung des Meta-Learning-Problems zwangsläufig eine verschachtelte Schleife aus zweistufiger Optimierung zwischen Modellgewichten und Hyperparametern (d. h. der Etikettverteilung). Als Kompromiss greifen frühere Methoden auf einen gekoppelten Lernprozess mit alternierender Aktualisierung zurück. In dieser Arbeit stellen wir empirisch fest, dass eine gleichzeitige Optimierung sowohl der Modellgewichte als auch der Etikettverteilung kein optimales Verfahren ergibt, was die Repräsentationsfähigkeit des Hauptmodells sowie die Genauigkeit der korrigierten Etiketten begrenzt. Aufgrund dieser Beobachtung wird ein neuartiger, mehrstufiger Etikettreiniger namens DMLP vorgestellt. DMLP entkoppelt den Etikettkorrekturprozess in zwei Schritte: eine etikettenfreie Repräsentationslernphase und einen einfachen meta-etikettbasierten Reinigungsprozess. Auf diese Weise kann DMLP in zwei klar voneinander getrennten Phasen gezielt auf die Extraktion diskriminativer Merkmale und die Etikettkorrektur fokussieren. DMLP ist ein plug-and-play-fähiger Etikettreiniger, dessen gereinigte Etiketten direkt in einfache end-to-end-Netzwerkneu-Trainingsprozesse oder andere robuste Lernmethoden integriert werden können. Auf mehreren synthetischen und realen Datensätzen mit verrauschten Etiketten werden dabei state-of-the-art-Ergebnisse erzielt, insbesondere unter hohen Rauschbedingungen.