Noisy Concurrent Training für effizientes Lernen unter Label-Rauschen

Tiefere neuronale Netzwerke (DNNs) lernen unter Label-Rauschen ineffektiv und haben sich als dazu neigend erwiesen, zufällige Labels zu memorisieren, was ihre Generalisierungsfähigkeit beeinträchtigt. Wir betrachten das Lernen in Isolation, wobei ein-hot-kodierte Labels als einzige Quelle der Supervision dienen und eine fehlende Regularisierung, die die Memorisation unterbinden würde, als zentrale Schwächen des herkömmlichen Trainingsverfahrens. Daher schlagen wir Noisy Concurrent Training (NCT) vor, das kooperatives Lernen nutzt, um den Konsens zwischen zwei Modellen als zusätzliche Quelle der Supervision einzusetzen. Zudem inspiriert durch die trialspezifische Variabilität im Gehirn, stellen wir eine gegenintuitive Regularisierungstechnik vor, die sogenannte Ziel-Variabilität, bei der in jedem Batch ein prozentualer Anteil der Trainingsbeispiele zufällig mit neuen Labels versehen wird, um die Memorisation und Übergeneralisierung in DNNs zu verhindern. Die Ziel-Variabilität wird unabhängig für jedes Modell angewendet, um deren Divergenz zu gewährleisten und die Bestätigungsverzerrung zu vermeiden. Da DNNs tendenziell zunächst einfache Muster lernen, bevor sie die verrauschten Labels memorisieren, implementieren wir ein dynamisches Lernschema, bei dem sich die beiden Modelle im Laufe des Trainings zunehmend stärker auf ihren Konsens stützen. NCT erhöht zudem schrittweise die Ziel-Variabilität, um in späteren Trainingsphasen eine Memorisation zu vermeiden. Wir demonstrieren die Wirksamkeit unseres Ansatzes an synthetischen sowie realen Benchmark-Datensätzen mit Rauschen.