HOPE élagage des experts MoE selon leurs interactions

Les grands modèles de langage à architecture MoE, ou modèles à experts mélangés, atteignent d’excellentes performances en repartissant le calcul entre plusieurs sous-réseaux spécialisés, appelés experts. Mais cette efficacité a un coût mémoire important : chaque expert doit rester présent dans la mémoire pendant l’inférence, même si une faible partie seulement est utilisée pour chaque mot traité. Dans certains modèles, la quasi-totalité des paramètres est ainsi consacrée à ces experts, alors que, par exemple, seulement 8 experts sur 256 peuvent être activés par couche. Pour réduire cette empreinte sans dégrader le modèle, la suppression d’experts est une solution simple. Le défi est de savoir lesquels éliminer. Les méthodes existantes notent habituellement chaque expert séparément, puis suppriment les moins utiles. Elles supposent que chaque expert fonctionne de façon indépendante, ce qui ne reflète pas complètement la réalité : dans les modèles MoE, les experts forment souvent des groupes qui s’activent ensemble et coopèrent sur certaines tâches. Dans ces conditions, des chercheurs ont présenté HOPE, une méthode de suppression d’experts fondée sur les interactions de second ordre. Contrairement aux approches classiques, HOPE ne regarde pas seulement l’importance individuelle de chaque expert. Elle analyse aussi quelles paires d’experts collaborent régulièrement, avec quelle intensité et dans quelles conditions. À partir d’un jeu de données de calibration, la méthode construit une matrice d’interactions puis cherche, par une optimisation quadratique, le meilleur ensemble d’experts à supprimer. Le calcul supplémentaire reste rapide, de l’ordre de quelques secondes par couche, et ne ralentit pas l’utilisation du modèle élagué. Sur plusieurs modèles, dont Qwen3.5-122B, Qwen3.5-35B et GLM-4.5-Air, HOPE obtient en moyenne de meilleurs résultats que quatre méthodes de premier ordre, notamment REAP, MAN, EAN et Frequency. L’avantage devient plus marqué quand on supprime beaucoup d’experts, par exemple 50 % d’entre eux, ce qui correspond à un gain de mémoire particulièrement utile pour déployer des modèles avec de plus longs contextes ou des usages plus profonds. Dans ces conditions, HOPE obtient le meilleur rang moyen et affiche des gains pouvant atteindre 6,1 % sur des tâches de codage agentique par rapport à la meilleure méthode concurrente. Ces gains sont visibles sur des benchmarks complexes, comme SWE-Bench Pro, où le modèle doit résoudre de vrais problèmes de programmation en plusieurs étapes. Avec Qwen3.5-35B élagué à 50 %, HOPE atteint 42,3 points, contre 41,8 pour le modèle non élagué et seulement 36,2 avec REAP. La méthode parvient donc à préserver une partie importante de la qualité tout en réduisant fortement le modèle. Les chercheurs publient également un outil en trois étapes : calibration du modèle, résolution du problème d’optimisation et création du checkpoint élagué. HOPE fonctionne avec plusieurs familles de modèles, notamment Qwen et GLM. Ses limites existent : ses bénéfices sont surtout visibles avec des taux de suppression élevés, la méthode ne gère pas encore de façon aboutie les interactions entre couches, et elle ne prend en compte que les collaborations par paires, sans intégrer les relations plus complexes entre trois experts ou plus.