HyperAIHyperAI

Command Palette

Search for a command to run...

Sattelpunktevermeidung zur effektiven Generalisierung bei klassenungleichgewichtigen Daten

Harsh Rangwani Sumukh K Aithal Mayank Mishra R. Venkatesh Babu

Zusammenfassung

Realwelt-Datensätze weisen unterschiedliche Arten und Grade an Unbalanciertheit auf. Mehrere Techniken, die auf einer Umgewichtung und Margin-Anpassung der Verlustfunktion basieren, werden häufig eingesetzt, um die Leistung von neuronalen Netzen – insbesondere auf Minderheitsklassen – zu verbessern. In dieser Arbeit analysieren wir das Problem des klassenunbalancierten Lernens, indem wir die Verlustlandschaft neuronaler Netze untersuchen, die mit Umgewichtungs- und marginbasierten Techniken trainiert wurden. Konkret betrachten wir die spektrale Dichte der Hessematrix des klassenweise aufgeteilten Verlusts und stellen fest, dass sich die Netzwerkgewichte in der Verlustlandschaft der Minderheitsklassen einem Sattelpunkt nähern. Aufgrund dieser Beobachtung zeigen wir weiterhin, dass Optimierungsmethoden, die darauf abzielen, aus Sattelpunkten zu entkommen, effektiv zur Verbesserung der Generalisierung auf Minderheitsklassen eingesetzt werden können. Wir demonstrieren zudem theoretisch und empirisch, dass Sharpness-Aware Minimization (SAM), eine neuere Technik, die eine Konvergenz zu flachen Minima fördert, effektiv genutzt werden kann, um Sattelpunkte bei Minderheitsklassen zu überwinden. Die Anwendung von SAM führt zu einer Steigerung der Genauigkeit auf Minderheitsklassen um 6,2 % gegenüber dem aktuellen Stand der Technik, dem Vector Scaling Loss, und resultiert in einer durchschnittlichen Gesamtsteigerung von 4 % über mehrere unbalancierte Datensätze hinweg. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/val-iisc/Saddle-LongTail.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp