MDCS: Mehr Vielfalt bei Experten mit konsistenter Selbst-Verdichtung für die Erkennung von langschwänzigen Verteilungen

Kürzlich haben Mehrexperten-Methoden zu erheblichen Verbesserungen bei der Erkennung von Long-Tail-Daten (LTR) geführt. Wir fassen zwei Aspekte zusammen, die weiter verbessert werden müssen, um den Fortschritt bei LTR zu fördern: (1) Mehr vielfältige Experten; (2) Geringere Modellvarianz. Die bisherigen Methoden haben diese Aspekte jedoch nicht gut behandelt. Um diese Lücke zu schließen, schlagen wir eine Methode vor, die als "More Diverse Experts with Consistency Self-distillation" (MDCS) bezeichnet wird. Unser MDCS-Ansatz besteht aus zwei zentralen Komponenten: Diversitätsverlust (Diversity Loss, DL) und Konsistenz-Selbstdestillierung (Consistency Self-distillation, CS).Im Detail fördert DL die Vielfalt unter den Experten, indem es ihren Fokus auf verschiedene Kategorien steuert. Um die Modellvarianz zu reduzieren, verwenden wir die Kullback-Leibler-Divergenz (KL-Divergenz), um das reichhaltigere Wissen schwach augmentierter Instanzen für die Selbstdestillierung der Experten abzuleiten. Insbesondere entwickeln wir eine Methode zur Auswahl sicher klassifizierter Instanzen, genannt "Confident Instance Sampling" (CIS), um verfälschtes oder rauschhaftes Wissen für CS zu vermeiden.In unserer Analyse und Abstraktionsstudie zeigen wir, dass unsere Methode im Vergleich zu früheren Arbeiten effektiv die Vielfalt der Experten erhöht, die Varianz des Modells erheblich reduziert und die Erkennungsgenauigkeit verbessert. Darüber hinaus sind die Rollen unseres DL und CS gegenseitig verstärkend und gekoppelt: Die Vielfalt der Experten profitiert von der CS, und ohne den DL kann die CS keine bemerkenswerten Ergebnisse erzielen.Experimente zeigen, dass unser MDCS auf fünf gängigen Long-Tail-Benchmarks – einschließlich CIFAR10-LT, CIFAR100-LT, ImageNet-LT, Places-LT und iNaturalist 2018 – den Stand der Technik um 1% bis 2% übertrifft. Der Code ist unter https://github.com/fistyee/MDCS verfügbar.