NVIDIA Dynamoが強化学習のロールアウトボトルネックを削減
NVIDIAは技術ブログで、強化学習(RL)訓練のロールアウト工程で生じるGPU容量の浪費と訓練遅延を、サービング層「NVIDIA Dynamo」で緩和すると説明した。RLでは推論ワーカーがモデル出力や環境相互作用を含むロールアウトを生成し、RLフレームワークが報酬評価、重み更新、サンプル採否を担う。規模拡大に伴い、ロールアウト完了時間のばらつき、同一プロンプトやリポジトリ文脈の再計算、更新重みの鮮度維持が課題となる。 DynamoはRLフレームワークと推論ワーカーの間に位置し、ルーティング、ワーカー管理、サービング制御、テレメトリを担当する。学習制御や報酬、チェックポイント、サンプル採否はRLフレームワーク側に残す分離設計により、学習プロセスの所有権を移さずに推論基盤を改善できる。KV対応ルーティングでは、KVキャッシュの再利用とワーカー負荷の均衡を図り、同一プロンプトの再処理と待ち時間を抑えて必要サンプルの完了を早める。 重み配布ではModelExpressがクラスタ内の既存重みを再利用し、対応ワーカー間でNIXLを通じたGPU間コピーを行う。差分転送により更新分を圧縮して送り、転送時間とネットワーク負荷を削減する。障害時にはDynamoがワーカー喪失を検知して新規要求を正常ワーカーへ振り向け、交換ワーカーを準備後にルーティングへ追加する。対応構成では進行中要求の移行やグレースフルドレインも可能で、RLフレームワークが中断サンプルと必要重みを管理する。結果として、より多くの採用可能サンプルを生成し、固定計算予算内での訓練イテレーション完了を加速する。
