Sattelpunktevermeidung zur effektiven Generalisierung bei klassenungleichgewichtigen Daten

Realwelt-Datensätze weisen unterschiedliche Arten und Grade an Unbalanciertheit auf. Mehrere Techniken, die auf einer Umgewichtung und Margin-Anpassung der Verlustfunktion basieren, werden häufig eingesetzt, um die Leistung von neuronalen Netzen – insbesondere auf Minderheitsklassen – zu verbessern. In dieser Arbeit analysieren wir das Problem des klassenunbalancierten Lernens, indem wir die Verlustlandschaft neuronaler Netze untersuchen, die mit Umgewichtungs- und marginbasierten Techniken trainiert wurden. Konkret betrachten wir die spektrale Dichte der Hessematrix des klassenweise aufgeteilten Verlusts und stellen fest, dass sich die Netzwerkgewichte in der Verlustlandschaft der Minderheitsklassen einem Sattelpunkt nähern. Aufgrund dieser Beobachtung zeigen wir weiterhin, dass Optimierungsmethoden, die darauf abzielen, aus Sattelpunkten zu entkommen, effektiv zur Verbesserung der Generalisierung auf Minderheitsklassen eingesetzt werden können. Wir demonstrieren zudem theoretisch und empirisch, dass Sharpness-Aware Minimization (SAM), eine neuere Technik, die eine Konvergenz zu flachen Minima fördert, effektiv genutzt werden kann, um Sattelpunkte bei Minderheitsklassen zu überwinden. Die Anwendung von SAM führt zu einer Steigerung der Genauigkeit auf Minderheitsklassen um 6,2 % gegenüber dem aktuellen Stand der Technik, dem Vector Scaling Loss, und resultiert in einer durchschnittlichen Gesamtsteigerung von 4 % über mehrere unbalancierte Datensätze hinweg. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/val-iisc/Saddle-LongTail.