HyperAIHyperAI

Command Palette

Search for a command to run...

Coresets für die robuste Schulung neuronaler Netze gegenüber verrauschten Etiketten

Baharan Mirzasoleiman Kaidi Cao Jure Leskovec

Zusammenfassung

Moderne neuronale Netzwerke weisen die Fähigkeit auf, überanpassung an verrauschte Etiketten zu zeigen, die häufig in realen Datensätzen vorkommen. Obwohl erhebliche Fortschritte erzielt wurden, sind bestehende Techniken bisher begrenzt hinsichtlich der Bereitstellung theoretischer Garantien für die Leistung neuronaler Netzwerke, die mit verrauschten Etiketten trainiert wurden. Hier präsentieren wir einen neuartigen Ansatz mit starken theoretischen Garantien für einen robusten Training von tiefen Netzwerken unter Verwendung verrauschter Etiketten. Die zentrale Idee unseres Verfahrens besteht darin, gewichtete Teilmengen (Coresets) sauberer Datenpunkte auszuwählen, die eine annähernd niedrigrangige Jakobimatrix liefern. Wir beweisen, dass der Gradientenabstieg, angewendet auf diese Teilmengen, keine Überanpassung an die verrauschten Etiketten verursacht. Unsere umfangreichen Experimente bestätigen unsere Theorie und zeigen, dass tiefe Netzwerke, die auf unseren Teilmengen trainiert werden, eine deutlich überlegene Leistung erzielen im Vergleich zu aktuellen State-of-the-Art-Verfahren – beispielsweise eine Steigerung der Genauigkeit um 6 % auf CIFAR-10 bei 80 % verrauschten Etiketten und eine Steigerung um 7 % auf mini Webvision.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp