NVIDIA dévoile les piliers de l’IA physique au SIGGRAPH avec des avancées en simulation, rendu 3D et apprentissage par renforcement

L’intelligence artificielle physique (Physical AI), moteur derrière la robotique, les véhicules autonomes et les espaces intelligents, repose sur une combinaison de graphismes neuronaux, de génération de données synthétiques, de simulations basées sur la physique, d’apprentissage par renforcement et de raisonnement par IA. Ce mélange correspond parfaitement aux compétences collectives de NVIDIA Research, une équipe mondiale qui depuis près de 20 ans a contribué à l’émergence de ces domaines convergents. À l’occasion de SIGGRAPH, le congrès phare de l’informatique graphique qui se tient à Vancouver jusqu’au jeudi 14 août, les dirigeants de NVIDIA Research ont présenté une conférence spéciale mettant en lumière les innovations en matière de graphismes et de simulation qui font avancer l’IA physique et spatiale. « L’IA améliore nos capacités de simulation, et nos capacités de simulation renforcent à leur tour les systèmes d’IA », affirme Sanja Fidler, vice-présidente de la recherche en IA chez NVIDIA. « Il existe une synergie authentique et puissante entre ces deux domaines, une combinaison que très peu maîtrisent. » Lors de SIGGRAPH, NVIDIA dévoile de nouvelles bibliothèques logicielles pour l’IA physique, notamment les librairies NVIDIA Omniverse NuRec pour le splatting 3D à base de gaussiennes, des mises à jour de la plateforme NVIDIA Metropolis dédiée à l’IA vision, ainsi que les modèles de raisonnement NVIDIA Cosmos et NVIDIA Nemotron. Cosmos Reason, un nouveau modèle de vision-langage à raisonnement, permet aux robots et aux agents d’IA vision de raisonner comme des humains, en s’appuyant sur des connaissances préalables, une compréhension de la physique et un sens commun. Ces avancées s’inscrivent dans une longue trajectoire de recherche. La création d’environnements 3D de haute fidélité, physiquement réalistes, est essentielle pour entraîner des systèmes d’IA physique, car sans ces mondes virtuels précis, les compétences apprises en simulation ne se transforment pas efficacement dans le monde réel. Imaginez un robot agricole qui saisit délicatement des pêches sans les abîmer, ou un robot industriel assemblant des composants électroniques microscopiques avec une précision millimétrique. « L’IA physique nécessite un environnement virtuel qui ressemble à la réalité, une univers parallèle où les robots peuvent apprendre en toute sécurité par l’essai et l’erreur », souligne Ming-Yu Liu, vice-président de la recherche chez NVIDIA. La recherche de NVIDIA dans le domaine du traçage de rayons et des graphismes en temps réel, lancée dès 2006, est au cœur de cette réalisme. Ces avancées sont aujourd’hui renforcées par des modèles d’IA, dans un domaine appelé neural rendering. « Notre recherche fondamentale en rendu alimente la création de mondes virtuels fidèles à la réalité, tandis que l’IA permet de générer ces mondes à partir d’images ou de vidéos », explique Aaron Lefohn, vice-président de la recherche graphique. Aujourd’hui, il est possible de transformer des photos ou vidéos — des médias accessibles à tous — en environnements 3D réalistes en temps réel. Ce travail s’appuie sur des techniques de rendu avant (3D → 2D) et de rendu inverse (2D → 3D), complétées par des innovations en simulation du mouvement physique, notamment par le laboratoire Spatial Intelligence de Fidler. Ce dernier a présenté ViPE (Video Pose Engine), une chaîne de traitement 3D pour vidéos, développée avec le Dynamic Vision Lab et l’équipe NVIDIA Isaac, capable d’estimer le mouvement de caméra et de produire des cartes de profondeur à partir de vidéos amateurs, de dashcams ou de films. Par ailleurs, le groupe Deep Imagination de Liu explore les modèles de vision par ordinateur, les transformateurs et l’IA générative pour permettre aux systèmes d’IA physique de prédire des états futurs du monde — comme les conséquences d’un feu rouge franchi par une voiture ou d’un verre trop proche du bord d’une table. Ces travaux ont permis le lancement de NVIDIA Cosmos, une plateforme lancée en 2024 pour accélérer le développement de l’IA physique grâce à des modèles mondiaux fondamentaux, des bibliothèques post-entraînement et une chaîne de traitement accélérée des données. À SIGGRAPH, NVIDIA Research présente plus d’une douzaine de travaux sur le rendu neuronal, le traçage de rayons en temps réel, la génération de données synthétiques et l’apprentissage par renforcement — des capacités clés pour les prochaines générations d’outils d’IA physique. Un article particulièrement pertinent aborde la reconstruction de géométrie 3D consciente des lois physiques à partir d’images 2D. Contrairement à de nombreux modèles qui produisent des formes visuellement proches mais instables (par exemple, une chaise qui s’effondre en simulation), la méthode proposée garantit que les objets générés respectent les lois physiques réelles, assurant ainsi une fidélité accrue pour l’entraînement des systèmes d’IA physique. Ces recherches illustrent la synergie entre rendu, simulation et IA, au service de la digitalisation industrielle. La conférence de Fidler, Lefohn et Liu à SIGGRAPH offre un aperçu des avancées qui façonnent l’avenir de l’intelligence artificielle physique. Évaluation et perspectives : Les experts du secteur saluent cette intégration stratégique de la recherche graphique et de l’IA physique. Selon des analystes de Gartner, NVIDIA se positionne comme un leader incontesté dans le domaine des environnements virtuels pour l’entraînement d’IA, grâce à sa capacité unique à combiner puissance de calcul, réelisme graphique et intelligence prédictive. Les plateformes comme Omniverse et Cosmos sont perçues comme des piliers essentiels pour l’industrie, notamment dans les secteurs de la fabrication, de la logistique et des transports. Le développement de modèles de raisonnement comme Cosmos Reason, capables de simuler le bon sens physique, ouvre la voie à des robots plus autonomes et plus fiables. Ces innovations, combinées à une recherche continue en rendu inversé et en simulation physique, renforcent la crédibilité de NVIDIA comme acteur central du passage de l’IA virtuelle à l’IA physique réelle.