NVIDIA Recovery 自动恢复保障分布式训练连续性

随着分布式AI训练规模扩大，硬件故障、节点失联、NCCL超时、训练停滞和掉队者等问题对算力效率影响显著。英伟达推出开源工作负载级自动恢复服务NVIDIA Recovery，作为DSX OS及DSX AI Factory Platform组件，用于实现集群级训练作业恢复。传统人工排查日志、隔离故障并重启检查点的方式难以覆盖大规模、全天候运维需求，而NVIDIA Recovery可基于应用日志、GPU指标和调度器信号检测异常，识别受影响资源，隔离故障节点，并在健康容量上协调作业从检查点重启，支持并发中断处理。该服务以控制平面运行，当前集成Slurm，Kubernetes支持在规划中，部署采用Helm Chart，可对接Loki或Victoria Logs、Prometheus，并通过sbatch指令纳入监控。其监测模式可先生成恢复建议，验证后再切换自动执行，同时提供审计日志和Recovery Console。生产数据显示，在一个训练集群上，它日均监测近200个作业，记录约8550次异常，平均检测延迟69秒、恢复动作延迟94秒。IBM Research已在Slurm集群完成验证并启用自主恢复，Verda也基于Victoria Logs部署。该工具以Apache 2.0开源，旨在降低人工干预和GPU闲置损耗，缩短中断对训练进度的影响。