SAFA: Sample-Adaptive Feature Augmentation für die Long-Tailed Bildklassifikation

Ungleichgewichtige Datensätze mit langschwänziger Verteilung treten in der Praxis häufig auf und stellen tiefe Netzwerke vor große Herausforderungen hinsichtlich der Bewältigung verzerrter Vorhersagen zwischen Kopfklassen (Majorität, häufig) und Schwanzklassen (Minderheit, selten). Der Merkmalsraum der Schwanzklassen wird durch tiefe Netzwerke gewöhnlich unterschätzt, was zu heterogener Leistung über verschiedene Klassen hinweg führt. Bisherige Ansätze erweitern die Merkmale der Schwanzklassen, um die Schwachstellen im Merkmalsraum auszugleichen, doch diese Methoden erweisen sich im Testphase als nicht generalisierbar. Um dieses Problem zu mildern, schlagen wir eine neuartige Sample-Adaptive Feature Augmentation (SAFA) vor, die Merkmale für Schwanzklassen erweitert und so die Leistung des Klassifikators verbessert. SAFA zielt darauf ab, vielfältige und übertragbare semantische Richtungen aus Kopfklassen zu extrahieren und diese adaptiv zur Erweiterung der Merkmale von Schwanzklassen entlang der extrahierten semantischen Richtungen zu nutzen. SAFA nutzt ein Recycling-Trainingsschema, um sicherzustellen, dass die erweiterten Merkmale pro Beispiel spezifisch sind. Ein kontrastiver Verlust sorgt dafür, dass die übertragbaren semantischen Richtungen klassenunabhängig sind, während ein Modus-Such-Verlust zur Erzeugung vielfältiger Merkmale für Schwanzklassen beiträgt und den Merkmalsraum dieser Klassen vergrößert. Die vorgeschlagene SAFA kann als Plug-in nahtlos in verschiedene Methoden während des Trainings integriert werden, ohne zusätzlichen Rechenaufwand bei der Testphase zu verursachen. Durch die Nutzung von SAFA erzielen wir herausragende Ergebnisse auf CIFAR-LT-10, CIFAR-LT-100, Places-LT, ImageNet-LT und iNaturalist2018.