NVIDIA ouvre de nouveaux outils Cosmos pour l'IA physique

NVIDIA a annoncé à la conférence GTC Berlin un nouvel ensemble d'outils pour accélérer la conception de modèles du monde, ces systèmes d'IA physique qui apprennent à simuler et à comprendre l'environnement réel. La plateforme Cosmos s'enrichit de nouvelles capacités de curation de données, de simulation, d'entraînement et de déploiement, tout en s'appuyant sur des modèles ouverts classés parmi les cinq premiers de six classements publics. Côté données, Cosmos Data Factory met à disposition cinq blueprints cloud-native via GitHub, Microsoft Azure, Nebius et CoreWeave. L'outil Cosmos Curator, accéléré par GPU, prend désormais en charge des entrées multimodales et multisensorielles pour préparer des jeux vidéo de formation. Ces fonctions permettent de générer des données synthétiques et de limiter les collectes physiques. Porsche l'utilise avec Voxel51 sur Azure pour créer une boucle de données partagée entre les marques de Volkswagen Group, avec une réduction possible de 90% des essais routiers physiques et de 85% des délais de développement. ANYbotics a produit plus de 1 500 clips synthétiques via Encord pour entraîner des robots d'inspection industrielle à repérer des fuites ou des anomalies. Ultralytics a amélioré la détection de défauts de son modèle YOLO en le réentraînant avec des images réelles et des défauts synthétiques. Dans l'entraînement, Cosmos Framework étend ses recettes et ses compétences d'agent aux modèles ouverts compatibles avec Hugging Face, comme GR00T, Alpamayo, QWEN ou Pi0.5. Les développeurs peuvent affiner ces systèmes, appliquer l'apprentissage par renforcement, puis les optimiser par distillation et quantification avant de les déployer avec une inférence performante. Cosmos 3 apporte des variantes Nano destinées à tester des politiques d'autonomie dans des simulations interactives multivues et multisensorielles. MicroAGI a affiné Cosmos 3 sur des vidéos de manipulation humaine, puis réduit un modèle de 32 milliards de paramètres à une version Nano de 8 milliards sans perte de précision. Roboflow permet également de labelliser les données, d'entraîner ces modèles sur des environnements spécifiques et de les exécuter sur GPU NVIDIA, en hébergé ou sur site. Pour la production, les microservices Cosmos 3 NIM promettent jusqu'à deux fois plus d'inférence sans perte de qualité dans des configurations validées, tandis que l'analyse vidéo continue permet des alertes en moins d'une seconde. Le Metropolis Blueprint VSS 3.3, bâti sur ces microservices, transforme une simple requête en application vidéo et aide à surveiller 40% de flux supplémentaires à ressources égales. ADNOC, via la plateforme MistIQ de Fogsphere, détecte en temps réel des dangers sur 65 sites et génère des données synthétiques pour les événements rares sans reproduire de situations dangereuses. Cette architecture modulaire guide les équipes de la génération de données à l'adaptation des modèles, puis à leur mise en production. En réunissant outils ouverts, simulation et déploiement, NVIDIA vise à raccourcir les cycles de développement pour la robotique, la conduite autonome et la vidéosurveillance intelligente.