Dimensionsgetriebenes Lernen mit verrauschten Etiketten

Datensätze mit erheblichen Anteilen verrauschter (falscher) Klassifikationslabels stellen Herausforderungen für die Ausbildung genauer Tief neuronalen Netze (Deep Neural Networks, DNNs) dar. Wir schlagen eine neue Perspektive zur Verallgemeinerung von DNNs bei solchen Datensätzen vor, indem wir die Dimensionalität des tiefen Repräsentationssubraums der Trainingsbeispiele untersuchen. Unsere Untersuchungen zeigen, dass DNNs aus dimensionalitätstheoretischer Sicht recht unterschiedliche Lernstile aufweisen, je nachdem, ob sie mit sauberen Labels oder mit einem Anteil verrauschter Labels trainiert werden. Auf Basis dieses Befundes entwickeln wir eine neuartige dimensionsgetriebene Lernstrategie, die während des Trainings die Dimensionalität der Subräume überwacht und die Verlustfunktion entsprechend anpasst. Wir führen empirische Studien durch, die belegen, dass unser Ansatz gegenüber erheblichen Anteilen verrauschter Labels hochgradig robust ist und effektiv niedrigdimensionale lokale Subräume lernen kann, die die Datenverteilung erfassen.