Coresets für die robuste Schulung neuronaler Netze gegenüber verrauschten Etiketten

Moderne neuronale Netzwerke weisen die Fähigkeit auf, überanpassung an verrauschte Etiketten zu zeigen, die häufig in realen Datensätzen vorkommen. Obwohl erhebliche Fortschritte erzielt wurden, sind bestehende Techniken bisher begrenzt hinsichtlich der Bereitstellung theoretischer Garantien für die Leistung neuronaler Netzwerke, die mit verrauschten Etiketten trainiert wurden. Hier präsentieren wir einen neuartigen Ansatz mit starken theoretischen Garantien für einen robusten Training von tiefen Netzwerken unter Verwendung verrauschter Etiketten. Die zentrale Idee unseres Verfahrens besteht darin, gewichtete Teilmengen (Coresets) sauberer Datenpunkte auszuwählen, die eine annähernd niedrigrangige Jakobimatrix liefern. Wir beweisen, dass der Gradientenabstieg, angewendet auf diese Teilmengen, keine Überanpassung an die verrauschten Etiketten verursacht. Unsere umfangreichen Experimente bestätigen unsere Theorie und zeigen, dass tiefe Netzwerke, die auf unseren Teilmengen trainiert werden, eine deutlich überlegene Leistung erzielen im Vergleich zu aktuellen State-of-the-Art-Verfahren – beispielsweise eine Steigerung der Genauigkeit um 6 % auf CIFAR-10 bei 80 % verrauschten Etiketten und eine Steigerung um 7 % auf mini Webvision.