In der Welt des maschinellen Lernens, insbesondere bei der Verarbeitung großer Modelle wie Sprach-LLMs, ist die Nutzung mehrerer GPUs entscheidend für Leistung und Skalierbarkeit. Dieser Artikel erläutert die grundlegenden Prinzipien der Zusammenarbeit zwischen CPU (Host) und GPU (Device), wobei der Fokus auf NVIDIA-GPUs liegt, die dominierend in AI-Anwendungen sind. Die zentrale Architektur ist das Host-Device-Paradigma: Programme beginnen auf der CPU, und wenn eine GPU-Aufgabe wie die Matrixmultiplikation erforderlich ist, überträgt die CPU Befehle und Daten an die GPU. Dieser Prozess erfolgt asynchron – die CPU stellt den Befehl in eine CUDA-Stream-Warteschlange ab und geht sofort zur nächsten Anweisung über, während die GPU arbeitet. Dies ermöglicht eine effiziente Nutzung beider Komponenten. Ein zentraler Mechanismus hierfür sind CUDA Streams, die geordnete Warteschlangen für GPU-Aufgaben darstellen. Operationen innerhalb eines Streams werden sequenziell ausgeführt, während verschiedene Streams gleichzeitig laufen können. Dies erlaubt beispielsweise die gleichzeitige Ausführung von Berechnungen und Datenübertragungen: Während die GPU Batch 1 verarbeitet, kann die CPU bereits Batch 2 von RAM in die VRAM der GPU kopieren. In PyTorch werden Streams mit Kontextmanagern verwaltet, und die Option non_blocking=True ist entscheidend, um die CPU nicht zu blockieren. Für Abhängigkeiten zwischen Streams verwendet man CUDA-Events, die eine präzise Synchronisation ohne Blockierung der CPU ermöglichen – eine wesentliche Verbesserung gegenüber torch.cuda.synchronize(), das alle Streams blockiert. Ein weiterer kritischer Punkt ist die Host-Device-Synchronisation. Wenn der CPU Zugriff auf GPU-Daten benötigt – etwa beim Ausdrucken eines Tensors – wird die CPU blockiert, bis die GPU die Berechnung abgeschlossen und die Daten zurückgegeben hat. Dies führt zu Leistungseinbußen, die vermieden werden sollten. Effiziente Praxis bedeutet daher, Daten direkt auf der GPU zu erstellen (z. B. torch.randn(100, 100, device='cuda') statt to('cuda') nach der Erstellung), um unnötige Kopieroperationen zu vermeiden. Bei der Skalierung auf mehrere GPUs tritt der Begriff „Rank“ hinzu. Jede GPU wird von einem eigenen Prozess (Rank) gesteuert, der auf demselben oder einem anderen Knoten laufen kann. Auf einem einzigen Rechner laufen mehrere Instanzen des gleichen Skripts unabhängig, wobei jeder Rank eine eigene GPU (z. B. cuda:0, cuda:1) nutzt. Durch die Verwendung von Rang-IDs können Aufgaben wie Datenpartitionierung automatisiert werden – ein Kernprinzip der verteilten Trainingstechniken. Industrieexperten betonen, dass das Verständnis dieser Mechanismen entscheidend ist, um Leistungsgrenzen zu erkennen und Optimierungen wie pin_memory=True im DataLoader oder Vorabladen von Daten zu verstehen. Ohne diese Kenntnisse bleiben Bottlenecks unsichtbar. Frameworks wie PyTorch abstrahieren viel, aber die Leistungsfähigkeit hängt letztlich von der effizienten Nutzung der zugrundeliegenden Hardwarearchitektur ab. Für Fortgeschrittene ist die Beherrschung von Streams, Events und Synchronisation der Schlüssel zu maximaler GPU-Auslastung – besonders in der Entwicklung und Optimierung von LLMs und anderen rechenintensiven Anwendungen.