Klassenbalancierter Verlust basierend auf der effektiven Anzahl von Stichproben

Mit dem raschen Anstieg großer, realweltlicher Datensätze wird es zunehmend kritisch, das Problem der langen Schwanzverteilung der Daten (d.h., wenige Klassen stellen den Großteil der Daten dar, während die meisten Klassen unterrepräsentiert sind) anzugehen. Bestehende Lösungen verwenden in der Regel Strategien zur Klassenausgewogenheit, wie z.B. erneutes Stichprobenziehen und erneutes Gewichten auf Basis der Anzahl der Beobachtungen für jede Klasse. In dieser Arbeit argumentieren wir, dass mit steigender Anzahl von Stichproben der zusätzliche Nutzen eines neu hinzugefügten Datenpunkts abnimmt. Wir führen ein neues theoretisches Framework ein, um die Datenüberlappung durch Zuordnung eines kleinen Nachbarschaftsbereichs zu jedem Stichprobenpunkt anstelle eines einzelnen Punktes zu messen. Die effektive Anzahl von Stichproben ist als das Volumen der Stichproben definiert und kann durch eine einfache Formel berechnet werden: $(1-β^{n})/(1-β)$, wobei $n$ die Anzahl der Stichproben und $β \in [0,1)$ ein Hyperparameter ist. Wir entwickeln ein erneutes Gewichtungsverfahren, das die effektive Anzahl von Stichproben für jede Klasse verwendet, um den Verlust neu auszugleichen und so einen klassenbalancierten Verlust zu erzeugen. Umfassende Experimente wurden an künstlich induzierten langschwänzigen CIFAR-Datensätzen sowie an großen Datensätzen wie ImageNet und iNaturalist durchgeführt. Unsere Ergebnisse zeigen, dass das Netzwerk bei Verwendung des vorgeschlagenen klassenbalancierten Verlustes signifikante Leistungsverbesserungen bei langschwänzigen Datensätzen erreichen kann.