HyperAIHyperAI

Command Palette

Search for a command to run...

Verallgemeinerte Kreuzentropieverlust für das Training von tiefen neuronalen Netzen mit verrauschten Etiketten

Zhilu Zhang Mert R. Sabuncu

Zusammenfassung

Tiefe neuronale Netze (DNNs) haben in verschiedenen Anwendungen und Disziplinen einen enormen Erfolg erzielt. Dennoch geht ihre überlegene Leistung mit dem hohen Kostenaufwand einher, der korrekt annotierte, groß angelegte Datensätze zu benötigen. Zudem können Fehler in den Trainingslabels aufgrund der reichhaltigen Kapazität von DNNs die Leistung beeinträchtigen. Um dieses Problem anzugehen, wurde kürzlich der mittlere absoluter Fehler (MAE) als eine robuste Alternative zum häufig verwendeten kategorischen Kreuzentropieverlust (CCE) vorgeschlagen. Wie wir in dieser Arbeit zeigen, kann MAE jedoch bei DNNs und anspruchsvollen Datensätzen schlecht abschneiden. Hier präsentieren wir eine theoretisch fundierte Reihe von robusten Verlustfunktionen, die als Verallgemeinerung von MAE und CCE angesehen werden können. Die vorgeschlagenen Verlustfunktionen können ohne Weiteres mit jeder existierenden DNN-Architektur und -Algorithmus angewendet werden und bieten gute Leistungen in einer Vielzahl von Szenarien mit verrauschten Labels. Wir berichten über Ergebnisse aus Experimenten, die mit den Datensätzen CIFAR-10, CIFAR-100 und FASHION-MNIST sowie synthetisch generierten verrauschten Labels durchgeführt wurden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp