HyperAIHyperAI

Command Palette

Search for a command to run...

NVIDIA Dynamo senkt Rollout-Engpässe im RL-Training

NVIDIA Dynamo soll Engpässe bei Rollouts in Reinforcement-Learning-Trainings reduzieren. Inferenz treibt den RL-Zyklus: Worker erzeugen Rollouts aus Modellausgaben, Aktionen und Umgebungsinteraktionen; das RL-Framework bewertet die Ergebnisse, aktualisiert Modellgewichte und verteilt sie für die nächste Runde an die Worker. Mit steigender Skalierung führen redundante Berechnungen, langsame Rollouts, verzögerte Gewichtsaktualisierungen und Worker-Ausfälle zu verschwendeter GPU-Kapazität und längeren Trainingsiterationen. Dynamo setzt als Serving-Schicht zwischen Rollout-Orchestrierung und Inferenz-Workern an. Drei Begrenzungen bestimmen laut NVIDIA die Effizienz: die Zeit bis zum Abschluss benötigter Rollouts, wiederholte Kontextverarbeitung bei identischen Prompts und die Aktualität der Modellgewichte. Eine gleichmäßige Verteilung der Anfragen auf GPUs verteilt die Arbeit nicht automatisch gleichmäßig; der langsamste erforderliche Rollout kann den nächsten Trainingsschritt verzögern. Zudem beginnen viele Versuche mit identischen Anweisungen, Aufgabenbeschreibungen oder Repository-Kontexten, deren erneute Berechnung GPU-Kapazität bindet. Schließlich muss das Framework steuern, wann Worker neue Gewichte erhalten und welche Ergebnisse für das Training akzeptabel sind. Die Architektur trennt Zuständigkeiten klar: Das RL-Framework verantwortet Optimierung, Rewards, Umgebungen, Checkpoints und Sample-Akzeptanz; Dynamo übernimmt Routing, Worker-Management, Serving-Kontrolle und Telemetrie; die Inferenz-Engine führt Generierung und Gewichtsanwendung aus; ModelExpress verteilt Modellgewichte und Artefakte über unterstützte Integrationen. Damit bleibt die Kontrolle über den Lernprozess beim Framework, während Dynamo die Serving-Ebene optimiert. KV-bewusstes Routing reduziert wiederholte Prompt-Berechnung, indem Anfragen bevorzugt an Worker mit passendem Cache gehen. Zugleich balanciert der Router Cache-Wiederverwendung und Worker-Last, um Warteschlangen und verzögerte Rollouts zu vermeiden. ModelExpress verringert den Aufwand für wiederkehrende Gewichtsverteilung: Statt vollständige Checkpoints aus entferntem Speicher zu laden, können kompatible Worker Gewichte direkt von einem laufenden Worker über NIXL kopieren. Delta-Gewichtstransfer überträgt nur komprimierte Änderungen statt des gesamten Modells, was Transferzeit und Netzwerkverkehr senkt. Das beschleunigt auch die Wiederherstellung, weil ein Ersatz-Worker einen Checkpoint laden und anschließende Deltas anwenden kann, während gesunde Worker weiter Rollouts erzeugen. Bei Worker-Ausfällen erkennt Dynamo den Verlust, lenkt neue Anfragen auf geeignete Worker und nimmt Ersatz-Worker nach deren Bereitschaft ins Routing auf. Unterstützte Konfigurationen ermöglichen zudem Migration geeigneter laufender Anfragen und kontrolliertes Draining; das RL-Framework behandelt unterbrochene Samples und stellt sicher, dass Ersatz-Worker die erforderlichen Gewichte nutzen. Insgesamt soll Dynamo mehr akzeptierte Trainingssamples und schnellere Iterationen innerhalb eines festen Compute-Budgets ermöglichen. NVIDIA nennt als Einsatzfelder Frontier-Model-Entwicklung, managed Infrastruktur und Open-Source-Frameworks.

Verwandte Links