Dynamischer Verlust für robustes Lernen

Label Noise und Klassenungleichgewicht treten in realen Datensätzen häufig gemeinsam auf. Bisherige Ansätze für robustes Lernen behandeln jedoch in der Regel nur eine dieser Datenverzerrungen und erzielen unter der gleichzeitigen Gegenwart beider Schwächen. Um diese Lücke zu schließen, präsentieren wir eine neuartige, meta-learning-basierte dynamische Verlustfunktion, die die Zielvorgaben während des Trainingsprozesses automatisch anpasst, um robust Klassifikatoren aus langen-Schweif-Daten mit Label Noise zu lernen. Konkret besteht unsere dynamische Verlustfunktion aus einem Label-Korrektor und einem Margin-Generator, die jeweils fehlerhafte Labels korrigieren und pro-Klassen-Klassifikationsmargen additiv generieren, indem sie die zugrundeliegende Datenausbreitung sowie den aktuellen Lernzustand des Klassifikators wahrnehmen. Mit einer neuen hierarchischen Sampling-Strategie, die eine geringe Menge an verlässlichen Metadaten durch vielfältige und anspruchsvolle Beispiele ergänzt, werden die beiden Komponenten der dynamischen Verlustfunktion gemeinsam mittels Meta-Lernen optimiert und ermöglichen es dem Klassifikator, sich gut an saubere und ausgewogene Testdaten anzupassen. Umfangreiche Experimente zeigen, dass unsere Methode auf mehreren realen und synthetischen Datensätzen mit unterschiedlichen Arten von Datenverzerrungen, einschließlich CIFAR-10/100, Animal-10N, ImageNet-LT und Webvision, die derzeit besten Ergebnisse erzielt. Der Quellcode wird in Kürze öffentlich zugänglich gemacht.