Automatisierte Workload-Recovery stabilisiert KI-Training
NVIDIA hat NVIDIA Recovery als Open-Source-Komponente für die automatisierte Erholung verteilter KI-Trainingsarbeiten veröffentlicht. Die Lösung ist Teil der Softwareplattform DSX OS und richtet sich an GPU-Cluster, in denen Ausfälle, blockierte Prozesse und verlangsamer Worker den Fortschritt großer Trainingsläufe beeinträchtigen. Statt jeder Störung manuell durch Protokollanalyse, Fehlerisolierung und Neustart aus einem gesicherten Trainingsstand zu begegnen, automatisiert das Werkzeug den gesamten Wiederherstellungszyklus über mehrere Aufträge und Knoten hinweg. NVIDIA Recovery ergänzt bestehende Resilienzschichten um eine Auftragsebene. Es nutzt Anwendungsprotokolle, GPU-Metriken und Signale des Auftragsplaners, um Abstürze, blockierte Prozesse, Kommunikationsfehler über NVIDIA NCCL, CUDA-Fehler und langsam fortschreitende Trainingsabschnitte zu erkennen. In der Zuordnungsphase werden Indizien für Hardware, Systemsoftware oder Anwendungsfehler gesammelt; optional liefert NVIDIA Attribution vertiefte Diagnoseergebnisse. Auf dieser Grundlage isoliert die Plattform betroffene Knoten, stoppt aussichtslose Wiederholungen und startet Aufträge bei Bedarf aus dem letzten gespeicherten Trainingsstand auf funktionsfähigen Ressourcen neu. Ein Audit-Protokoll dokumentiert jede Empfehlung, Aktion und Entscheidung. Laut NVIDIA deckte die automatische Überwachung auf einem Produktivcluster zwischen dem 9. Juli und dem 9. Oktober täglich nahezu 200 Aufträge ab und erfasste etwa 8550 Anomalie-Erkennungen. Die mittlere Erkennungszeit betrug 69 Sekunden, die mittlere Zeit bis zur automatisierten Wiederherstellungsaktion 94 Sekunden. Damit sinkt der manuelle Betriebsaufwand, während GPU-Ausfallzeiten, Rechenkosten und die Zeit bis zum produktiven Trainingsfortschritt reduziert werden. Besonders in großen Verteiltrainings wird die Wirkung deutlich, weil bereits wenige fehlerhafte GPUs sehr lange und ressourcenintensive Aufträge unterbrechen können. NVIDIA Recovery läuft als Kontrollschicht und kommuniziert über Schnittstellen wie HTTP oder gRPC mit dem Cluster-Manager. Zum Start unterstützt die Lösung Slurm, auch in Kombination mit Kubernetes über den Slurm-Operator. Ein Referenz-Steuerungsmodul kann als Helm-Konfigurationspaket eingesetzt werden, entweder direkt im Cluster oder über eine Fernsteuerung per SSH, ohne zusätzliche Cluster-Komponente. Neue Installationen beginnen standardmäßig im Beobachtungsmodus: Das System protokolliert vorgeschlagene Aktionen, führt sie aber nicht aus, sodass Betreiber die Vorschläge mit ihrem eigenen Handeln abgleichen können. Nach Validierung lässt sich der automatische Modus aktivieren. Für Kubernetes stehen native Erholungsabläufe für JobSet und PyTorchJob in der weiteren Planung, ebenso Unterstützung für Slurm-Auftragsreihen, schärfere Fehlerklassifikation und eine stabilere Freigabe. IBM Research nutzt die Lösung für Trainingsarbeiten und verfeinert Fehlermuster, während der Infrastrukturanbieter Verda NVIDIA Recovery in einer Victoria-Logs-Umgebung einsetzt und zum offenen Projekt beiträgt. Veröffentlicht wird der Quelltext über ein Git-Repository unter der Apache-2.0-Lizenz. Ein erster Einsatz lässt sich durch Installation des Konfigurationspakets, Abgleich der Protokolldaten und Aktivierung eines Trainingsauftrags testen.
