Die Nutzung von Hierarchischen Labelverteilungsunterschieden in der Test-unabhängigen Langschwanz-Erkennung

Dieses Papier untersucht die testagnostische Long-Tail-Erkennung, eine herausfordernde Aufgabe mit Long-Tail-Verteilungen, bei der die Testetikettverteilungen unbekannt und willkürlich unbalanciert sind. Wir argumentieren, dass die Variationen in diesen Verteilungen hierarchisch in globale und lokale Ebenen zerlegt werden können. Die globalen Variationen spiegeln ein breites Spektrum an Vielfalt wider, während die lokalen Variationen typischerweise aus milderen Veränderungen entstehen, oft auf einen bestimmten Nachbarn fokussiert. Traditionelle Methoden verwenden hauptsächlich einen Mixture-of-Expert (MoE)-Ansatz, der sich auf einige festgelegte Testetikettverteilungen konzentriert, die erhebliche globale Variationen aufweisen. Die lokalen Variationen werden jedoch vernachlässigt. Um dieses Problem zu lösen, schlagen wir eine neue MoE-Strategie vor: $\mathsf{DirMixE}$, welche Experten verschiedenen Dirichlet-Metaverteilungen der Etikettverteilung zuordnet, wobei jede Metaverteilung einen spezifischen Aspekt der lokalen Variationen abzielt. Zudem fängt die Vielfalt unter diesen Dirichlet-Metaverteilungen inhärent auch globale Variationen ein. Dieser dualistische Ansatz führt auch zu einer stabileren Zielfunktion, was es uns ermöglicht, verschiedene Testverteilungen besser zu sampeln, um den Mittelwert und die Varianz der Leistungsergebnisse zu quantifizieren. Theoretisch zeigen wir, dass unser vorgeschlagener Ansatz durch varianzbasierte Regularisierung eine verbesserte Generalisierung bietet. Umfassende Experimente an mehreren Benchmarks bestätigen die Effektivität von $\mathsf{DirMixE}$. Der Code ist unter \url{https://github.com/scongl/DirMixE} verfügbar.