NVIDIA Recoveryが分散学習を自動で復旧

NVIDIAは、大規模分散AI学習の障害に自動対応するワークロード復旧サービスNVIDIA Recoveryをオープンソースで提供している。同サービスはNVIDIA DSX OSの一部として位置付けられ、訓練ランクの停止、NCCLタイムアウト、ノード応答不能、スローダウンなどを検知する。アプリケーションログ、GPUメトリクス、スケジューラ信号を手がかりに原因を分類し、問題ノードの隔離やチェックポイントからの再起動、無駄な再試行の停止を自動化する。個別訓練内の復旧機能やノード健全性監視とは役割が異なり、複数ジョブを横断するクラスタ全体の復旧制御を担う。 同社の実運用観測では、7月9日から10月9日までの訓練クラスタで1日当たり約200ジョブを監視し、約8550回の異常検知を記録した。検知の平均遅延は69秒、自動回復操作の平均遅延は94秒で、運用者の夜間対応や手動介入、アイドルGPU時間の削減に寄与する見込みだ。 新機能はまず監視モードで推奨のみ提示し、信頼性を確認後に自動実行へ移行できる。全決定は監査証跡と回復コンソールで追跡可能だ。IBM ResearchはSlurm環境で検証後に自動実行を有効化し、VerdaはVictoria Logs連携で採用した。Apache 2.0で公開され、今後はSlurmジョブ配列、Kubernetes上のJobSetやKubeflow PyTorchJob、障害分類と意思決定記録の強化を進める。