HyperAIHyperAI

Command Palette

Search for a command to run...

Noisy Concurrent Training für effizientes Lernen unter Label-Rauschen

Fahad Sarfraz Elahe Arani Bahram Zonooz

Zusammenfassung

Tiefere neuronale Netzwerke (DNNs) lernen unter Label-Rauschen ineffektiv und haben sich als dazu neigend erwiesen, zufällige Labels zu memorisieren, was ihre Generalisierungsfähigkeit beeinträchtigt. Wir betrachten das Lernen in Isolation, wobei ein-hot-kodierte Labels als einzige Quelle der Supervision dienen und eine fehlende Regularisierung, die die Memorisation unterbinden würde, als zentrale Schwächen des herkömmlichen Trainingsverfahrens. Daher schlagen wir Noisy Concurrent Training (NCT) vor, das kooperatives Lernen nutzt, um den Konsens zwischen zwei Modellen als zusätzliche Quelle der Supervision einzusetzen. Zudem inspiriert durch die trialspezifische Variabilität im Gehirn, stellen wir eine gegenintuitive Regularisierungstechnik vor, die sogenannte Ziel-Variabilität, bei der in jedem Batch ein prozentualer Anteil der Trainingsbeispiele zufällig mit neuen Labels versehen wird, um die Memorisation und Übergeneralisierung in DNNs zu verhindern. Die Ziel-Variabilität wird unabhängig für jedes Modell angewendet, um deren Divergenz zu gewährleisten und die Bestätigungsverzerrung zu vermeiden. Da DNNs tendenziell zunächst einfache Muster lernen, bevor sie die verrauschten Labels memorisieren, implementieren wir ein dynamisches Lernschema, bei dem sich die beiden Modelle im Laufe des Trainings zunehmend stärker auf ihren Konsens stützen. NCT erhöht zudem schrittweise die Ziel-Variabilität, um in späteren Trainingsphasen eine Memorisation zu vermeiden. Wir demonstrieren die Wirksamkeit unseres Ansatzes an synthetischen sowie realen Benchmark-Datensätzen mit Rauschen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Noisy Concurrent Training für effizientes Lernen unter Label-Rauschen | Paper | HyperAI