Nvidia a détaillé son nouveau logiciel de gestion de flotte de GPU, conçu pour surveiller à distance les serveurs d’intelligence artificielle, y compris leur localisation physique. Ce système, disponible en option, permet aux opérateurs de centres de données de suivre en temps réel l’état de leurs GPU, tout en offrant des fonctionnalités avancées de monitoring énergétique, thermique et de performance. Bien que la capacité à localiser physiquement les puces GPU puisse servir de frein à leur contrebande — qu’il s’agisse de fuites d’armes technologiques ou de transferts illégaux — l’optionnel de ce logiciel limite son efficacité, surtout face à des acteurs malveillants ou des États-nations soucieux de contourner les contrôles. Le logiciel centralise des données de télémétrie détaillées, regroupées dans un tableau de bord hébergé sur la plateforme NGC de Nvidia. Grâce à cette interface, les utilisateurs peuvent visualiser l’état de leur flotte de GPU à l’échelle mondiale ou par zones de calcul, correspondant à des emplacements physiques ou des infrastructures cloud. Il devient ainsi possible de repérer la localisation exacte des équipements, d’analyser les performances globales, d’inspecter des clusters individuels, et de générer des rapports structurés contenant des informations d’inventaire et d’état de santé du système. L’un des atouts majeurs du logiciel est sa capacité à surveiller en continu la consommation d’énergie, y compris les pics de puissance de courte durée, ce qui aide les opérateurs à rester en dessous des limites énergétiques imposées. En parallèle, il suit l’utilisation des GPU, la bande passante mémoire, l’intégrité des connexions inter-nœuds, permettant d’identifier des déséquilibres de charge, des saturations de bande passante ou des défaillances de lien qui pourraient altérer la performance de grandes grilles d’IA. Le suivi thermique est également une priorité. Le système détecte les points chauds et les problèmes d’aération, permettant d’éviter le ralentissement thermique (thermal throttling) et l’usure prématurée des composants, des enjeux cruciaux dans les environnements de calcul haute densité. De plus, le logiciel vérifie la cohérence des configurations logicielles et paramètres opérationnels entre les nœuds, une condition essentielle pour garantir des entraînements d’IA reproductibles et prévisibles. Toute divergence — par exemple, des pilotes incompatibles ou des paramètres mal synchronisés — est immédiatement signalée. Il est important de noter que ce nouveau service n’est pas le seul outil de Nvidia pour contrôler à distance les GPU. DCGM, un outil local de diagnostic, fournit des données brutes sur l’état des GPU, mais nécessite que les opérateurs construisent eux-mêmes leurs tableaux de bord, ce qui réduit sa facilité d’usage, bien qu’il offre plus de flexibilité. Base Command, quant à lui, est une plateforme d’orchestration pour le développement d’IA, gérant les tâches, les jeux de données et la collaboration, mais n’est pas conçu pour le monitoring matériel approfondi. Ces trois outils, combinés, forment un écosystème puissant : DCGM pour l’analyse fine au niveau du nœud, Base Command pour la gestion des charges de travail, et le nouveau service pour une visibilité flotte à l’échelle géographique. Ensemble, ils offrent une solution complète pour la gestion, l’optimisation et la maintenance des infrastructures d’IA à grande échelle.