DivideMix: Lernen mit verrauschten Beschriftungen als semi-supervised Learning

Tiefneuronale Netze sind bekannt dafür, viel Annotationssupport zu erfordern. Zahlreiche Bemühungen wurden unternommen, um die Kosten für Annotationen bei der Lernprozesse mit tiefen Netzen zu reduzieren. Zwei herausragende Ansätze sind das Lernen mit verrauschten Etiketten und das halbüberwachte Lernen durch Ausnutzung unbeschrifteter Daten. In dieser Arbeit stellen wir DivideMix vor, einen neuartigen Rahmen für das Lernen mit verrauschten Etiketten, der halbüberwachte Lerntechniken nutzt. Insbesondere modelliert DivideMix die pro-Probe-Verlustverteilung mittels eines Mischmodells, um die Trainingsdaten dynamisch in eine beschriftete Menge mit sauberen Beispielen und eine unbeschriftete Menge mit verrauschten Beispielen zu unterteilen, und trainiert das Modell sowohl auf den beschrifteten als auch auf den unbeschrifteten Daten in einer halbüberwachten Weise. Um eine Bestätigungsverzerrung (confirmation bias) zu vermeiden, trainieren wir gleichzeitig zwei abweichende Netze, wobei jedes Netz die Datenaufteilung des anderen Netzes nutzt. Während der halbüberwachten Trainingsphase verbessern wir die MixMatch-Strategie durch eine Label-Ko-Verfeinerung (label co-refinement) auf den beschrifteten und eine Label-Ko-Vermutung (label co-guessing) auf den unbeschrifteten Proben. Experimente auf mehreren Benchmark-Datensätzen zeigen erhebliche Verbesserungen gegenüber aktuellen State-of-the-Art-Methoden. Der Quellcode ist verfügbar unter https://github.com/LiJunnan1992/DivideMix.