Meta Label Correction für das Lernen mit verrauschten Labels
Die Nutzung schwacher oder verrauschter Aufsicht zur Entwicklung wirksamer maschineller Lernmodelle ist seit langem ein zentrales Forschungsthema. Seine Bedeutung hat sich in letzter Zeit aufgrund des wachsenden Bedarfs an großskaligen Datensätzen zur Trainierung tiefer Lernmodelle weiter erhöht. Schwache oder verrauschte Aufsicht kann aus verschiedenen Quellen stammen, beispielsweise aus Anmerkungen durch Nichtexperten oder automatischen Beschriftungen basierend auf Heuristiken oder Nutzerinteraktionsignalen. Es existiert eine umfangreiche Vorarbeit, die sich mit der Nutzung verrauschter Etiketten beschäftigt. Besonders hervorzuheben ist die jüngste Forschung, die durch einen meta-gelernten Ansatz zur Instanzgewichtung beachtliche Fortschritte erzielt hat, bei dem ein Meta-Lernframework genutzt wird, um Instanzgewichte für verrauschte Etiketten zuzuweisen. In diesem Artikel erweitern wir diesen Ansatz, indem wir das Problem innerhalb eines Meta-Lernframeworks als Etikettkorrekturproblem formulieren. Wir betrachten den Korrekturprozess der Etiketten als Meta-Prozess und schlagen einen neuen, auf Meta-Lernen basierenden Rahmen vor, der als MLC (Meta Label Correction) bezeichnet wird, um mit verrauschten Etiketten zu lernen. Konkret wird ein Netzwerk zur Etikettkorrektur als Meta-Modell eingesetzt, um korrigierte Etiketten für verrauschte Etiketten zu generieren, während das Hauptmodell trainiert wird, um die korrigierten Etiketten zu nutzen. Beide Modelle werden gemeinsam durch die Lösung eines bi-gradigen Optimierungsproblems trainiert. Wir führen umfangreiche Experimente mit unterschiedlichen Rauschniveaus und -typen sowohl bei der Bilderkennung als auch bei der Textklassifikation durch. Wir vergleichen den Ansatz der Gewichtung mit dem der Korrektur und zeigen, dass die Korrekturformulierung einige der Einschränkungen der Gewichtung überwindet. Zudem zeigen wir, dass der vorgeschlagene MLC-Ansatz in vielen Szenarien deutliche Verbesserungen gegenüber früheren Methoden erreicht.