HyperAIHyperAI

Command Palette

Search for a command to run...

DivideMix: Lernen mit verrauschten Beschriftungen als semi-supervised Learning

Junnan Li Richard Socher Steven C.H. Hoi

Zusammenfassung

Tiefneuronale Netze sind bekannt dafür, viel Annotationssupport zu erfordern. Zahlreiche Bemühungen wurden unternommen, um die Kosten für Annotationen bei der Lernprozesse mit tiefen Netzen zu reduzieren. Zwei herausragende Ansätze sind das Lernen mit verrauschten Etiketten und das halbüberwachte Lernen durch Ausnutzung unbeschrifteter Daten. In dieser Arbeit stellen wir DivideMix vor, einen neuartigen Rahmen für das Lernen mit verrauschten Etiketten, der halbüberwachte Lerntechniken nutzt. Insbesondere modelliert DivideMix die pro-Probe-Verlustverteilung mittels eines Mischmodells, um die Trainingsdaten dynamisch in eine beschriftete Menge mit sauberen Beispielen und eine unbeschriftete Menge mit verrauschten Beispielen zu unterteilen, und trainiert das Modell sowohl auf den beschrifteten als auch auf den unbeschrifteten Daten in einer halbüberwachten Weise. Um eine Bestätigungsverzerrung (confirmation bias) zu vermeiden, trainieren wir gleichzeitig zwei abweichende Netze, wobei jedes Netz die Datenaufteilung des anderen Netzes nutzt. Während der halbüberwachten Trainingsphase verbessern wir die MixMatch-Strategie durch eine Label-Ko-Verfeinerung (label co-refinement) auf den beschrifteten und eine Label-Ko-Vermutung (label co-guessing) auf den unbeschrifteten Proben. Experimente auf mehreren Benchmark-Datensätzen zeigen erhebliche Verbesserungen gegenüber aktuellen State-of-the-Art-Methoden. Der Quellcode ist verfügbar unter https://github.com/LiJunnan1992/DivideMix.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp