Les modèles fondamentaux mondes ouverts (WFMs) NVIDIA Cosmos, intégrés à la plateforme Omniverse, marquent une avancée majeure dans le développement de l’intelligence artificielle physique, essentielle aux robots, véhicules autonomes et systèmes intelligents. Contrairement aux modèles de langage, qui s’entraînent sur de vastes corpus numériques, les modèles d’IA physique nécessitent des données ancrées dans le monde réel, or la collecte de telles données est coûteuse, lente et parfois dangereuse. La génération de données synthétiques physiquement réalistes offre une solution à cette contrainte. NVIDIA a récemment mis à jour ses modèles Cosmos, introduisant Cosmos Predict 2.5, qui intègre en un seul modèle léger les fonctionnalités de Text2World, Image2World et Video2World. Ce modèle génère des mondes vidéo multicaméras cohérents à partir d’un simple prompt, image ou vidéo, permettant une création massive de scénarios variés. Cosmos Transfer 2.5, lui, permet un transfert de style précis dans l’espace entre mondes simulés — ajoutant des conditions météorologiques, lumineuses ou topographiques différentes — tout en étant 3,5 fois plus léger que sa prédécesseur, avec une meilleure précision physique et une meilleure adaptation aux prompts. Ces outils s’intègrent à des pipelines de données synthétiques fonctionnant dans Isaac Sim, la solution open-source de simulation robotique basée sur Omniverse. Ces pipelines, structurés en quatre étapes, permettent de passer efficacement de la simulation au monde réel. Des entreprises comme Skild AI utilisent ces technologies pour enrichir leurs données d’entraînement avec des variations de conditions, améliorant ainsi la généralisation des politiques robotiques dans Isaac Lab. Serve Robotics exploite des milliers de scénarios simulés dans Isaac Sim pour entraîner ses robots de livraison urbaine, ayant déjà effectué plus de 100 000 livraisons et collecté un million de kilomètres de données mensuellement, incluant près de 170 milliards d’échantillons image-lidar. Au-delà de la livraison de repas, Serve a utilisé ses robots pour livrer des supercalculateurs DGX Spark de NVIDIA, offrant 1 petaflop de puissance d’IA pour le développement de modèles. Zipline, spécialiste de la livraison par drone, a également reçu un DGX Spark par drone, démontrant l’application concrète de ces technologies. Lightwheel, quant à elle, propose des actifs « SimReady » et des jeux de données synthétiques de haute qualité pour réduire l’écart entre simulation et réalité, tandis que des projets comme celui de Santiago Villa utilisent Omniverse pour améliorer la détection de blocs dans les mines, évitant des arrêts coûteux. Des partenariats comme celui de FS Studio avec un leader logistique ont permis d’augmenter la précision de la détection de colis grâce à des jeux de données photoréalistes générés avec Replicator. Robots for Humanity a créé un environnement complet pour un client pétrolier, produisant des données de profondeur, de segmentation et d’image, complétées par des données de mouvement recueillies par téléopération. Scott Dempsey, ambassadeur Omniverse, développe un synthétiseur de câbles à partir de spécifications réelles, enrichi par Cosmos Transfer pour des ensembles d’entraînement photoréalistes. Ces avancées, fondées sur OpenUSD, ouvrent la voie à une IA physique plus robuste, généralisable et sécurisée, en réduisant la dépendance aux données réelles. Elles s’inscrivent dans une dynamique d’innovation accélérée, soutenue par des écosystèmes collaboratifs et des outils open-source. Pour en savoir plus, NVIDIA invite à suivre les ressources dédiées à OpenUSD, Cosmos et la génération de données synthétiques.