Meta-Weight-Net: Lernen einer expliziten Abbildung für das Sample Weighting

Aktuelle tiefe Neuronale Netze (DNNs) können leicht an voreingenommene Trainingsdaten mit fehlerhaften Labels oder Klassenungleichgewichten überanpassen. Eine gängige Strategie zur Milderung dieses Problems ist die Stichproben-Neubewertung, bei der eine Gewichtsfunktion von Trainingsverlust zu Stichproben-Gewicht geplant wird und dann zwischen Gewichtsneuberechnung und Klassifikatoraktualisierung iteriert wird. Derzeitige Ansätze benötigen jedoch eine manuelle Vorgabe der Gewichtsfunktion sowie ihrer zusätzlichen Hyperparameter. Dies macht sie in der Praxis aufgrund der erheblichen Variation geeigneter Gewichtungsstrategien, die vom untersuchten Problem und den Trainingsdaten abhängen, ziemlich schwer allgemein anwendbar. Um dieses Problem zu lösen, schlagen wir eine Methode vor, die in der Lage ist, eine explizite Gewichtsfunktion direkt aus den Daten adaptiv zu lernen. Die Gewichtsfunktion ist ein MLP mit einer verborgenen Schicht, das einen universellen Approximator für fast jede stetige Funktion darstellt. Dies ermöglicht es der Methode, eine breite Palette von Gewichtsfunktionen einschließlich jener, die in konventionellen Studien angenommen werden, anzupassen. Unter Anleitung durch eine kleine Menge unvoreingenommener Metadaten können die Parameter der Gewichtsfunktion während des Lernprozesses der Klassifikatoren fein angepasst werden. Synthetische und reale Experimente bestätigen die Fähigkeit unserer Methode, angemessene Gewichtsfunktionen sowohl bei Klassenungleichgewichten als auch bei verrauschten Labels zu erreichen, vollständig im Einklang mit den üblichen Einstellungen traditioneller Methoden und komplexeren Szenarien jenseits konventioneller Fälle. Dies führt naturgemäß zu einer besseren Genauigkeit als bei anderen Stand-of-the-Art-Methoden.