HOPE optimiert MoE-Pruning durch Experteninteraktionen

Forscher haben mit HOPE eine Pruning-Methode für Mixture-of-Experts-Sprachmodelle vorgestellt, die bei der Verkleinerung großer Modelle die Zusammenarbeit einzelner Experten stärker berücksichtigt als bisherige Verfahren. Mixture-of-Experts-Architekturen skalieren Sprachmodelle auf hunderte Milliarden Parameter, doch im Inferenzbetrieb belegt jedes Expertenmodul dauerhaft Speicher, obwohl pro Token nur wenige Experten aktiv sind. Bei Qwen3.5-122B etwa entfallen rund 250 GB Parameter footprint fast vollständig auf Expertenmodule, obwohl pro Token nur acht von 256 Experten je MoE-Schicht genutzt werden. Bisherige Ansätze zur Expertenentfernung bewerten einzelne Experten unabhängig anhand eines Kalibrierdatensatzes und löschen die am wenigsten wichtigen Einheiten. Diese Verfahren ignorieren jedoch, dass Experten stabile, kooperativ aktivierte Gruppen bilden. Entfernt man ein Mitglied eines solchen Verbunds, kann die Leistung trotz scheinbar niedriger Einzelbedeutung überproportional sinken, besonders bei aggressivem Pruning bis 50 Prozent. HOPE formuliert daher ein zweitordentliches Optimierungsproblem, das Paarinteraktionen zwischen Experten modelliert. Statt nur individuelle Bedeutungen zu ranken, minimiert die Methode eine obere Schranke des Pruning-Fehlers und berücksichtigt dabei, wie häufig zwei Experten gemeinsam ausgewählt werden und wie stark deren Ausgaben durch Gate-Gewichte gewichtet zum Ergebnis beitragen. Die zentrale Interaktionsmatrix enthält auf der Diagonalen die Einzelbedeutung, die sich eng an die bekannte Methode REAP anlehnt; abseits der Diagonalen erfasst sie Kooperationsbeiträge. HOPE entscheidet so, welche Experten entfernt werden sollen, um möglichst viele funktionierende Koalitionen zu erhalten. Die praktische Anwendung erfordert einen Kalibrierdurchlauf über den Modellvorwärtsbetrieb, das Lösen eines quadratischen Optimierungsproblems pro Schicht sowie die Erzeugung eines kleineren Checkpoints. Der zusätzliche Rechenaufwand ist gering, da die Kalibrierung den Großteil der Laufzeit bestimmt. Das Projekt stellt ein Paket mit Kommandozeile und Python-API bereit und tested die Nutzung für Qwen3-, Qwen3-Next-, Qwen3.5- und GLM-4.5-Modelle. In Benchmarks erzielte HOPE den besten Durchschnittsrang unter fünf Verfahren, darunter REAP, MAN, EAN und Frequency. Der Vorteil wuchs mit steigender Pruning-Quote. Bei 50 Prozent entfernten Experten lag HOPE im Durchschnittsrang bei 1,58 gegenüber 2,42 für REAP. Auf dem agentischen Programmierbenchmark SWE-Bench Pro erreichte Qwen3.5-35B-A3B nach 50-prozentigem Pruning 42,3 Punkte und übertraf den unbeschnittenen Wert leicht, während REAP auf 36,2 fiel. In einem weiteren Vergleich erzielte HOPE bis zu 6,1 Prozent Vorsprung auf die nächstbeste Pruning-Methode. Als Grenzen nennt die Arbeit eine schwächere Überlegenheit bei niedrigen Pruning-Raten von 10 bis 20 Prozent, die unabhängige Behandlung einzelner Schichten ohne übergreifende Interaktionen sowie die Beschränkung auf Paarbeziehungen statt höherer Gruppenbeziehungen. Code und Paper sind öffentlich verfügbar.