NVIDIA Dynamo accélère l’entraînement RL
NVIDIA Dynamo est présenté comme une couche de serving destinée à réduire les goulots d’étranglement de l’apprentissage par renforcement, ou RL. Dans ce type d’entraînement, des workers génèrent des rollouts, c’est-à-dire des séquences de sorties du modèle, d’actions et d’interactions avec l’environnement. Le framework RL évalue ces résultats, met à jour les poids du modèle, puis les renvoie aux workers pour l’itération suivante. À mesure que l’échelle augmente, les calculs redondants, les rollouts lents, la distribution des poids et les pannes de workers peuvent gaspiller de la capacité GPU et retarder l’entraînement. Dynamo se place entre l’orchestration des rollouts et les workers d’inférence. Le framework RL conserve la responsabilité de l’optimisation, des récompenses, des environnements, des checkpoints et de l’acceptation des échantillons. Dynamo prend en charge le routage, la gestion des workers, les contrôles de serving et la télémétrie, tandis que les moteurs d’inférence exécutent la génération et appliquent les poids mis à jour. ModelExpress assure la distribution des poids et des artefacts via les intégrations prises en charge. Trois contraintes principales limitent l’efficacité du RL. D’abord, le temps d’achèvement des rollouts : le rollout le plus lent peut retarder l’étape suivante, et répartir également les requêtes entre GPU ne garantit pas une charge de travail équilibrée. Ensuite, le contexte répété : plusieurs tentatives partent souvent des mêmes instructions ou du même contexte de dépôt de code, et recalculer ces préfixes consomme inutilement du calcul GPU. Enfin, la fraîcheur des poids : les workers doivent recevoir les nouveaux poids selon les exigences de l’algorithme en matière d’échantillonnage et de retard acceptable. Pour le routage, Dynamo équilibre la réutilisation du cache KV et la charge des workers. L’objectif est d’éviter à la fois le recalcul des prompts déjà mis en cache et la formation de files d’attente qui retarderaient les rollouts. Pour les poids, ModelExpress réutilise des poids déjà présents dans le cluster au lieu de les recharger depuis le stockage distant. Les workers compatibles peuvent copier directement les poids depuis la mémoire GPU d’un autre worker via NIXL. Le transfert différentiel envoie une représentation compressée des changements plutôt que le modèle complet, ce qui réduit le temps de transfert et le trafic réseau. Cette approche facilite aussi la reprise : un worker de remplacement peut charger un checkpoint puis appliquer les deltas suivants pour rattraper l’entraînement. Dynamo limite enfin l’impact des pannes. Il détecte la perte d’un worker, redirige les nouvelles requêtes vers des workers éligibles et ajoute les remplaçants au routage lorsqu’ils sont prêts. Certaines configurations permettent la migration des requêtes en cours et le drainage progressif, tandis que le framework RL gère les échantillons interrompus et vérifie que les remplaçants utilisent les poids requis. Au final, NVIDIA positionne Dynamo comme un moyen de mieux convertir la capacité GPU distribuée en échantillons d’entraînement acceptés et en itérations plus rapides, pour le développement de modèles de pointe, les infrastructures managées et les frameworks open source.
