Ce document explore la reconnaissance à queue longue indépendante des tests, une tâche à queue longue complexe où les distributions de labels lors des tests sont inconnues et arbitrairement déséquilibrées. Nous soutenons que ces variations de distributions peuvent être décomposées hiérarchiquement en niveaux globaux et locaux. Les variations globales reflètent une large gamme de diversité, tandis que les variations locales proviennent généralement de changements plus doux, souvent centrés sur un voisin particulier. Les méthodes traditionnelles utilisent principalement une approche par Mélange d'Experts (MoE), visant quelques distributions de labels de test fixes qui présentent des variations globales importantes. Cependant, les variations locales sont négligées. Pour remédier à ce problème, nous proposons une nouvelle stratégie MoE, $\mathsf{DirMixE}$DirMixE, qui attribue des experts à différentes méta-distributions Dirichlet de la distribution de labels, chacune ciblant un aspect spécifique des variations locales. De plus, la diversité entre ces méta-distributions Dirichlet capture naturellement les variations globales. Cette approche à deux niveaux conduit également à une fonction objectif plus stable, nous permettant d'échantillonner différentes distributions de test pour mieux quantifier la moyenne et la variance des résultats de performance. Théoriquement, nous montrons que notre objectif proposé bénéficie d'une généralisation améliorée grâce à la régularisation basée sur la variance. Des expériences exhaustives sur plusieurs benchmarks confirment l'efficacité de $\mathsf{DirMixE}$DirMixE. Le code est disponible à l'adresse \url{https://github.com/scongl/DirMixE}.