Les modèles Mixture-of-Experts (MoE) représentent une avancée majeure dans l'architecture des grands réseaux de neurones. Contrairement aux modèles denses qui activent l'intégralité de leurs paramètres pour chaque unité de texte, les MoE utilisent un routeur algorithmique pour n'activer qu'un sous-ensemble d'experts spécialisés. Cette stratégie conditionnelle permet de multiplier la capacité du modèle sans augmenter proportionnellement la charge de calcul nécessaire par unité traitée. Le déploiement industriel de ces architectures se heurte toutefois à des défis d'entraînement distribué. Les méthodes classiques de partitionnement des poids, conçues pour les réseaux denses, échouent sur les MoE en raison de la nature dynamique et imprévisible du routage par jeton. Si le parallélisme expert constitue la solution théorique idéale en répartissant les experts sur différents processeurs, il manque actuellement de compatibilité avec les modèles pré-entraînés pour le transfert d'apprentissage. Une expérimentation récente sur le modèle multimodal Qwen3-Omni-30B-A3B, composé de 35,26 milliards de paramètres, a clairement illustré ces limites. Les tests effectués sur quatre GPU A100 de 80 Go ont montré que toutes les configurations de partitionnement standard provoquaient des saturations mémoire. Pour contourner ce blocage, les ingénieurs ont conservé les couches MoE complètes sur chaque appareil et combiné trois optimisations logicielles. La quantification QLoRA à 4 bits des poids figés, l'intégration de Flash Attention 2 pour supprimer la matrice d'attention quadratique et un filtrage agressif de la couche de projection finale ont réduit la mémoire requise par GPU de 70,5 Go à environ 15,6 Go. Cette configuration a rendu possible un ajustement fin stable sur des séquences de plus de vingt-huit mille jetons. L'audit du système de routage à travers les quarante-huit couches du modèle révèle une transition structurelle nette. Les couches initiales assignent les données principalement selon leur nature technique, qu'il s'agisse de texte, d'audio ou de vidéo. À mesure que l'information progresse, le routeur affine sa sélection en fonction du sens et du contexte. Cette spécialisation progressive s'avère particulièrement marquée pour le texte, qui voit ses experts dynamiquement réaffectés vers des fonctions de raisonnement avancé, contrairement à l'audio et à la vidéo qui maintiennent des trajectoires plus stables. Face à cette convergence précoce des mécanismes de routage et à l'utilisation optimale de l'ensemble des capacités, les concepteurs ont figé le routeur durant la phase d'ajustement. Cette décision a simplifié l'entraînement en éliminant les fonctions de contrôle d'équilibrage et a permis de consacrer l'intégralité des ressources aux projections d'attention. Ces travaux confirment le potentiel des architectures MoE pour scaler les capacités multimodales sans exploser les infrastructures, tout en identifiant les axes critiques pour l'avenir : la création de frameworks de transfert compatibles avec le parallélisme expert, le développement de stratégies de sélection d'entrée plus efficientes et l'amélioration des protocoles d'évaluation pour distinguer les erreurs de format des défaillances de raisonnement.