Die Architektur von Mixture-of-Experts gewinnt zunehmend an Bedeutung, da sie Modelle mit Milliarden von Parametern ermöglicht, ohne den Rechenbedarf pro Token unverhältnismäßig zu steigern. Eine aktuelle technische Analyse untersucht die Implementierung, Feinabstimmung und multimodalen Routing-Verhalten des Qwen3-Omni-30B-A3B-Modells, das auf der Thinker–Talker-Architektur basiert und rund 35,26 Milliarden Parameter umfasst. Im Gegensatz zu dichten Transformer-Modellen, die für jeden Token dieselben Feed-Forward-Netzwerke aktivieren, nutzt MoE einen gelernten Router, der Token dynamisch auf eine kleine Teilmenge spezialisierter Experten weiterleitet. Diese bedingte Komputation steigert die Gesamtkapazität bei gleichbleibendem pro-Token-Budget. Durch Lastverlustfunktionen und Kapazitätsbeschränkungen wird eine gleichmäßige Auslastung sichergestellt. Die Spezialisierung der Experten entsteht nicht durch vordefinierte Module, sondern entwickelt sich während des Trainings durch Daten, Granularität und Routing-Policies. Bei der Feinabstimmung auf vier NVIDIA A100-GPUs stießen herkömmliche Sharding-Ansätze wie DeepSpeed ZeRO und PyTorch FSDP auf fundamentale Hindernisse. Da die Router-Entscheidungen datenabhängig sind, können Standard-Frameworks nicht vorhersagen, welche Expert-Gewichte zur Vorwärtsberechnung benötigt werden, was zu vollständigen Gewichts-Synchronisationen und Speicherüberläufen führt. Die Autoren demonstrieren stattdessen ein bewährtes Pipeline-Design: Die vollständigen MoE-Schichten verbleiben pro Gerät, ergänzt durch QLoRA zur Quantisierung der Basisgewichte, Flash Attention 2 zur Vermeidung quadratischer Speichermatrix-Allokationen und einen lm_head-Pre-Hook zur Reduzierung der Logit-Speicherung auf relevante Token-Positionen. Diese Kombination senkt den Peak-Speicherbedarf signifikant und ermöglicht Training mit langen Sequenzen. Eine Schicht-für-Schicht-Auditierung der 48 MoE-Schichten offenbart einen deutlichen Wechsel im Routing-Verhalten. In den ersten 28 Schichten werden Token primär nach Modalität gruppiert. Ab Schicht 29 differenziert das Routing stärker nach semantischem Kontext. Audio- und Video-Token zeigen eine hohe Stabilität der Expert-Pfade über die Modelltiefe hinweg, während Text-Token deutlich volatile Routing-Entscheidungen treffen, was auf eine dynamische Anpassung an höhere reasoning-Aufgaben hindeutet. Die Routing-Entropie nimmt kontinuierlich ab, was eine fortschreitende Spezialisierung bestätigt. Aufgrund der bereits konvergierten Routing-Tabellen wurde der Router während des Fine-Tunings eingefroren, um den Trainingsfokus auf die dichten Aufmerksamkeitsprojektionen zu lenken. Die Analyse unterstreicht, dass Expert-Parallelism zwar theoretisch die optimale Strategie für verteiltes MoE-Training darstellt, aktuell aber noch keine praktikable Feinabstimmung aus vortrainierten Checkpoints unterstützt. Künftige Forschung muss sich auf Router-Stabilität, kontextsensitive Token-Auswahl für lange Sequenzen und Evaluation-Protokolle konzentrieren, die Formatfehler von reasoning-Defiziten trennen. Die Erkenntnisse bieten eine fundierte Basis für die effiziente Skalierung multimodaler Expertenmodelle in produktiven Umgebungen.