Lernen, aus verrauschten etikettierten Daten zu lernen

Trotz des Erfolgs tiefer neuronaler Netze (DNNs) bei Bildklassifizierungsaufgaben hängt die menschliche Leistung von umfangreichen Trainingsdatensätzen mit hochwertigen manuellen Annotationen ab, deren Erhebung teuer und zeitaufwendig ist. Es gibt viele kostengünstige Datenquellen im Internet, die jedoch oft ungenaue Beschriftungen enthalten. Das Training auf datensätzen mit verrauschten Labels führt zu einer Leistungsverschlechterung, da DNNs leicht über das Labelrauschen überanpassen. Um dieses Problem zu bewältigen, schlagen wir einen rauschtoleranten Trainingsalgorithmus vor, bei dem ein Meta-Lernupdate vor dem konventionellen Gradientenupdate durchgeführt wird. Die vorgeschlagene Meta-Lernmethode simuliert das tatsächliche Training durch die Generierung synthetischer verrauschter Labels und trainiert das Modell so, dass nach einem Gradientenupdate mit jedem Satz synthetischer verrauschter Labels das Modell nicht an das spezifische Rauschen überangepasst wird. Wir führen umfangreiche Experimente auf dem verrauschten CIFAR-10-Datensatz und dem Clothing1M-Datensatz durch. Die Ergebnisse zeigen den leistungsfähigen Vorteil der vorgeschlagenen Methode im Vergleich zu mehreren Stand-of-the-Art-Baselines.