Invariant Feature Learning für die verallgemeinerte Long-Tailed-Klassifikation

Bestehende Methoden zur Langschwanz-Klassifikation (Long-Tailed Classification, LT) konzentrieren sich ausschließlich auf die Behandlung der klassenweisen Unausgeglichenheit, bei der Kopfklassen mehr Samples aufweisen als Schwanzklassen, während sie die attributweise Unausgeglichenheit vernachlässigen. Tatsächlich können selbst innerhalb ausgewogener Klassen die Samples langschwanzartig verteilt sein, bedingt durch unterschiedliche Attribute. Diese letztere Form der Unausgeglichenheit ist grundlegend häufiger und herausfordernder als die klassenweise, da Attribute für die meisten Datensätze nicht explizit gegeben sind und zudem kombinatorisch komplex sind, was eine ausgewogene Verteilung praktisch unmöglich macht. Daher führen wir ein neuartiges Forschungsproblem ein: die Generalisierte Langschwanz-Klassifikation (Generalized Long-Tailed classification, GLT), das beide Arten der Unausgeglichenheit gemeinsam berücksichtigt. Mit „generalisiert“ meinen wir, dass eine GLT-Methode die traditionelle LT natürlicherweise lösen sollte, aber nicht umgekehrt. Unserer Beobachtung nach degenerieren die meisten klassenweisen LT-Methoden in unseren vorgeschlagenen zwei Benchmarks: ImageNet-GLT und MSCOCO-GLT. Wir argumentieren, dass dies darauf zurückzuführen ist, dass diese Methoden die Anpassung der Klassendistribution überbetonen, während sie die Lernung von attributinvarianten Merkmalen vernachlässigen. Um dies zu adressieren, schlagen wir eine Invariant Feature Learning (IFL)-Methode als erste starke Baseline für GLT vor. IFL identifiziert zunächst Umgebungen mit divergierenden intra-klassischen Verteilungen aus unvollkommenen Vorhersagen und lernt anschließend invarianzbezogene Merkmale über diese Umgebungen hinweg. Versprechenderweise verbessert IFL als verbesserte Merkmalsarchitektur alle bestehenden LT-Ansätze: sowohl einstufige- als auch zweistufige Rebalancing, Augmentation sowie Ensemble-Methoden. Der Quellcode und die Benchmarks sind auf GitHub verfügbar: https://github.com/KaihuaTang/Generalized-Long-Tailed-Benchmarks.pytorch