Bei der Trainings von hyperskalen Mixture-of-Experts-(MoE)-Modellen für große Sprachmodelle (LLMs) stellt die Expert-Parallelität (EP) eine erhebliche Herausforderung dar, da sie intensive, dynamische und spärliche All-to-All-Kommunikation erfordert. In Modellen wie DeepSeek-V3, die fein granulare, sparse Aktivierung nutzen, führt dies zu hohen Kommunikationskosten – ohne Optimierung kann der Kommunikationsaufwand mehr als 50 % der gesamten Trainingszeit ausmachen. Zudem entstehen durch dynamische Routing-Mechanismen Lastungleichgewichte, bei denen einige „heiße“ Experten überlastet sind, während andere kaum genutzt werden. Dies verschwendet Rechenleistung und reduziert die Effizienz. Zudem erfordern moderne MoE-Modelle komplexe Parallelisierungsstrategien, niedrige Präzision (z. B. FP8), dynamische Ressourcenverwaltung und optimale Nutzung neuer Hardware wie NVIDIA Blackwell, Quantum InfiniBand und Spectrum-X Ethernet. Um diese Herausforderungen zu bewältigen, hat NVIDIA die Open-Source-Bibliothek Megatron Core entwickelt, die multidimensionale Parallelisierung (Tensor-, Sequenz-, Pipeline- und Expert-Parallelität), Mixed-Precision-Training (FP8), Aktivierungsoffloading und effiziente Kernel-Fusion unterstützt. Als zentrale Innovation wurde Hybrid-EP eingeführt – eine hochoptimierte EP-Kommunikationsbibliothek für NVIDIA-Plattformen. Hybrid-EP nutzt die Kombination aus NVLink (innerhalb eines Knotens) und RDMA über InfiniBand (zwischen Knoten), um die Bandbreite nahe an der Hardware-Grenze zu nutzen. Die Architektur basiert auf einer datenbasierten Pipeline innerhalb von CUDA-Blöcken, die Token in fein granularen Chunks verarbeiten und gleichzeitig Kommunikation und Berechnung überlappen. Jeder CUDA-Block fungiert als unabhängiger Datenkanal, wobei verschiedene Warp-Gruppen unterschiedliche Stufen der Pipeline (z. B. G2S: GPU-zu-Shared-Memory, S2G: Shared-Memory-zu-GPU, RDMA: Netzwerkkommunikation) bearbeiten, ohne Synchronisation zwischen Blöcken. Dies ermöglicht eine hohe Parallelität und minimiert die Nutzung von Streaming Multiprocessors (SMs), sodass mehr SMs für die eigentliche Berechnung zur Verfügung stehen. Tests auf NVIDIA DGX Hopper (8 H100-GPUs) zeigten, dass Hybrid-EP die NVLink-Bandbreite mit nur acht SMs erreicht. In einem 32-GPU-Cluster (4×DGX Hopper) mit ConnectX-7 NICs (400 Gbps) benötigte Hybrid-EP lediglich vier SMs, um die maximale NIC-Bandbreite zu erreichen. Auf dem NVIDIA Grace Blackwell-System mit 36 GPUs (GB200NVL36) füllt Hybrid-EP die NVLink-Bandbreite mit nur 16 SMs. Die Ergebnisse zeigen, dass Hybrid-EP die Algorithmus-Bandbreite nahe an der theoretischen Grenze bringt, während gleichzeitig die GPU-Ressourcennutzung minimal bleibt. Hybrid-EP ist in der DeepEP/Hybrid-EP-Branch von Megatron Core integriert und bietet direkt aufrufbare PyTorch-Operatoren. Für die Nutzung werden spezielle Pufferstrategien benötigt: „Registered Buffers“ für globale, gemeinsame Speicher und „Normal Buffers“ für lokal verwaltete Speicher. Um dynamische Tokenzahlen zu bewältigen, wird eine Worst-Case-Vorreservierung angewandt, um Speicherüberlauf zu vermeiden, ohne die Gesamt-GPU-Speicherauslastung zu erhöhen. Die Integration erfordert eine sorgfältige Buffer-Verwaltung, aber die Architektur ist flexibel und skalierbar. Benchmark-Tests auf Grace Blackwell zeigen signifikante Geschwindigkeitssteigerungen: DeepSeek-V3 erreicht mit Hybrid-EP eine TFLOPS-Steigerung um 14 % (943 vs. 829) und eine 1,14-fache Beschleunigung im Vergleich zu DeepEP. Ähnliche Verbesserungen wurden bei Qwen 3 und anderen Modellen beobachtet. Diese Ergebnisse unterstreichen die Effizienz von Hybrid-EP bei der Maximierung der Hardware-Nutzung und Reduzierung von Kommunikationskosten. Industrieexperten betonen, dass Hybrid-EP eine Schlüsselinnovation für die zukünftige Skalierung von MoE-Modellen darstellt. Die Kombination aus Hardware- und Software-Optimierung ermöglicht nicht nur eine nahezu ideale Bandbreitenausnutzung, sondern auch eine signifikante Reduktion von Kosten und Energieverbrauch – ein entscheidender Vorteil für den Einsatz in industriellen Anwendungen. Mit der Integration in Megatron Core und der Unterstützung für neue Plattformen wie Blackwell ist Hybrid-EP ein zentraler Baustein für die nächste Generation von LLM-Trainingssystemen.