Bei der Skalierung großer Sprach- und Multimodalmodelle stößt die Einzel-GPU-Architektur schnell an ihre physikalischen Grenzen. Der Übergang zu verteilter Trainingstechnik erfordert nicht nur eine strategische Aufteilung der Modelllast, sondern ist stark von der physischen Konnektivität der GPU-Hardware abhängig. Analysen zeigen, dass die Wahl der Parallelisierungssoftware und die Topologie des Nodes eng verzahnt sind und gemeinsam den Trainingsdurchsatz sowie den Speicherbedarf determinieren. Auf Softwareebene dominieren drei Ansätze die Praxis. Die Distributed Data Parallel-Methode repliziert das vollständige Modell inklusive Gradienten und Optimizer-States auf jeder GPU. Dies minimiert die Kommunikation auf einen All-Reduce-Schritt pro Trainingsschritt, erfordert jedoch bis zu 87 Gigabyte VRAM pro Karte und ist somit bei Modellen mit mehreren Milliarden Parametern oft unbrauchbar. Als Speicheroptimierung etablierte sich Fully Sharded Data Parallel, das Modellgewichte, Gradienten und Optimizer-States fragmentiert und nur bei Bedarf wieder zusammenführt. Dies senkt den VRAM-Bedarf erheblich, verursacht aber kontinuierlichen Datenverkehr durch All-Gather- und Reduce-Scatter-Operationen. In der Praxis positionieren sich die ZeRO-Stufen als abstufiger Kompromiss zwischen beiden Extremen. Sie schränken schrittweise ein: zunächst nur die Optimizer-States, dann Gradienten und schließlich die Parameter, wodurch der Speicherbedarf kontrolliert reduziert wird, während die Kommunikationslast ansteigt. Die tatsächliche Performance dieser Strategien wird jedoch maßgeblich durch die Hardware-Fabrik bestimmt. Neben dem Standard-PCIe-Bus, der als Engpass gilt, bietet NVIDIA mit NVLink eine direkte GPU-zu-GPU-Verbindung mit bis zu 450 Gigabyte pro Sekunde. Die physikalische Anordnung dieser Links ist entscheidend. NVL-Architekturen gruppieren acht GPUs in Zweiergruppen mit NVLink, während Verbindungen zwischen Gruppen auf den langsameren PCIe-Bus zurückfallen. Hingegen nutzen HGX-Plattformen einen NVSwitch, der jede GPU mit jedem anderen Knoten des Nodes auf voller NVLink-Geschwindigkeit verbindet. Praktische Benchmarks belegen den massiven Einfluss dieser Topologien. Auf einem NVSwitch-System verhalten sich DDP und FSDP nahezu identisch im Durchsatz, wobei FSDP deutlich weniger Speicher verbraucht. Auf NVL-Systemen hingegen führt eine versehentliche Verteilung des Jobs über mehrere Gruppen zu einem Trainingsrückgang von bis zu fünffach, da die Kommunikation auf PCIe-Geschwindigkeit abrutscht. Während FSDP auf langsamen Leitungen durch seine intensive, schichtweise Kommunikation massiv ausgebremst wird, zeigt sich DDP auf PCIe-Verbindungen robuster, da die Datenbewegung pro Schritt minimiert ist. Die ZeRO-Stufen gleichen auf schnellen Netzen teilweise die DDP-Effizienz aus, während sie auf langsamen Fabriken in ihrer Performance konvergieren und stark vom Kommunikationslimit der Hardware abhängen. Die zentrale Erkenntnis lautet, dass die Software festlegt, welche Datenmengen verschoben werden müssen, die Hardware jedoch bestimmt, zu welchem Kostenfaktor dies geschieht. Vor dem Start verteilter Trainingsjobs sollte daher zwingend die GPU-Topologie geprüft werden. Auf durchgängig schnellen NVSwitch-Architekturen ist FSDP die effiziente Standardlösung. Auf NVL-Systemen ist eine gezielte Platzierung innerhalb einer NVLink-Gruppe essenziell, ansonsten bleibt nur DDP als stabilste Option, falls der Speicherbedarf dies erlaubt. Für professionelle ML-Infrastrukturen ist die Hardware-Konnektivität somit kein nebensächlicher Faktor, sondern eine entscheidende Größe bei der Kapazitätsplanung und Strategieentwicklung.