Eine einheitliche Generalisierungsanalyse der Umgewichtung und Logit-Anpassung für das unbalancierte Lernen. Paper mit Code

Reale Datensätze sind typischerweise unbalanciert, da nur wenige Klassen über eine große Anzahl an Beispielen verfügen, während viele Klassen nur mit wenigen Beispielen assoziiert sind. Dadurch neigt ein naiver ERM-Lernprozess stark zu den Majority-Klassen, was die Generalisierung auf die Minority-Klassen erschwert. Um dieses Problem anzugehen, stellt eine einfache, jedoch wirksame Herangehensweise die Modifikation der Verlustfunktion dar, um das Lernen auf die Minority-Klassen zu betonen, beispielsweise durch Gewichtung der Verluste oder Anpassung der Logits mittels klassenabhängiger Terme. Allerdings bleibt die bestehende Generalisierungsanalyse solcher Verlustfunktionen weiterhin grob und fragmentiert und kann einige empirische Beobachtungen nicht erklären. Um diese Lücke zu schließen, schlagen wir eine neuartige Technik namens datenabhängige Kontraktion vor, um zu erfassen, wie solche modifizierten Verluste unterschiedliche Klassen behandeln. Aufbauend auf dieser Technik wird eine fein granulierte Generalisierungsgrenze für das unbalancierte Lernen hergeleitet, die es ermöglicht, die Wirkweise der Gewichtung und der Logit-Anpassung einheitlich zu erklären. Darüber hinaus wird ein konsistenter Lernalgorithmus auf Basis der theoretischen Erkenntnisse entwickelt. Schließlich bestätigen empirische Ergebnisse auf Benchmark-Datensätzen nicht nur die theoretischen Aussagen, sondern demonstrieren auch die Wirksamkeit des vorgeschlagenen Ansatzes.