ELF: Ein Early-Exiting-Framework für Long-Tailed-Klassifikation

Die natürliche Welt folgt oft einer langen-Schwanz-Datenverteilung, bei der nur wenige Klassen die überwiegende Mehrheit der Beispiele ausmachen. Diese langen Schwänze führen dazu, dass Klassifizierer überfitzen, insbesondere auf die Mehrheitsklasse. Um dies zu mildern, verwenden herkömmliche Ansätze üblicherweise Strategien zur Klassenbalancierung wie Daten-Resampling oder Verlustumformung. Allerdings berücksichtigen diese Methoden die sogenannte „Beispielhärte“ nicht ausreichend: Innerhalb einer Klasse sind einige Beispiele leichter zu klassifizieren als andere. Um diesen Aspekt der Härte in den Lernprozess einzubinden, schlagen wir den EarLy-exiting Framework (ELF) vor. Während des Trainings lernt ELF, einfache Beispiele frühzeitig zu verlassen, indem es Hilfszweige an ein Hauptnetzwerk anbindet. Dies bietet zwei Vorteile: Erstens konzentriert sich das neuronale Netzwerk zunehmend auf schwierige Beispiele, da diese einen größeren Beitrag zum Gesamtverlust leisten; zweitens wird zusätzliche Modellkapazität freigelegt, um schwierige Beispiele besser zu unterscheiden. Experimentelle Ergebnisse auf zwei großen Datensätzen, ImageNet LT und iNaturalist'18, zeigen, dass ELF die Zustand-des-Kunst-Genauigkeit um mehr als drei Prozent steigern kann. Zudem reduziert ELF die Inference-Zeit-FLOPS um bis zu 20 Prozent. ELF ist komplementär zu vorhergehenden Ansätzen und lässt sich nahtlos mit einer Vielzahl bestehender Methoden verbinden, um die Herausforderung langschwänziger Verteilungen zu bewältigen.