MentorNet: Lernen eines datengetriebenen Curriculums für sehr tiefe Neuronale Netze bei verfälschten Labels

Neue tiefe Netzwerke sind in der Lage, gesamte Datenmengen zu merken, selbst wenn die Labels vollständig zufällig sind. Um das Überanpassen an verdorbene Labels zu überwinden, schlagen wir eine neuartige Technik vor, bei der ein weiteres neuronales Netzwerk gelernt wird, das als MentorNet bezeichnet wird, um die Schulung der Basis-Netzwerke, bekannt als StudentNet, zu überwachen. Während des Trainings bietet MentorNet ein Curriculum (Sample-Weighting-Schema) für StudentNet, um sich auf Beispiele zu konzentrieren, deren Label wahrscheinlich korrekt sind. Im Gegensatz zu den bestehenden Curricula, die in der Regel von menschlichen Experten vorgegeben werden, lernt MentorNet ein datengeführtes Curriculum dynamisch zusammen mit StudentNet. Experimentelle Ergebnisse zeigen, dass unser Ansatz die Generalisierungsleistung von tiefen Netzwerken erheblich verbessern kann, die auf verdorbenen Trainingsdaten trainiert wurden. Bemerkenswerterweise erreichen wir laut unserem Wissen das beste veröffentlichte Ergebnis auf WebVision, einem großen Benchmark-Datensatz mit 2,2 Millionen Bildern realer verrauschter Labels. Der Quellcode ist unter https://github.com/google/mentornet verfügbar.