NVIDIA publie Cosmos 3 à poids ouverts pour la simulation

NVIDIA a publié quatre nouveaux points de contrôle à poids ouverts dans sa plateforme Cosmos 3, destinés à la simulation interactive de mondes virtuels et à la génération de scènes de conduite multi-capteurs et multi-vues. Ces variantes, toutes issues de Cosmos 3 Nano avec 16 milliards de paramètres entraînables, sont distribuées sous OpenMDW1.1, qui permet une utilisation commerciale et non commerciale. L’objectif est d’aider les chercheurs et développeurs à créer des environnements simulés plus riches, capables de relier actions, observations et décisions en temps réel. Le premier modèle, Cosmos3-Nano-Transfer-Auto, vise la génération synthétique hors ligne de données pour véhicules autonomes. Il produit des vidéos synchronisées sur jusqu’à onze caméras, y compris des vues fisheye, et combine des images RGB et des nuages LiDAR. Des cartes de scénario par caméra et des invites textuelles guident la structure de la scène, le mouvement du trafic et l’apparence visuelle. Il peut ensuite être adapté à un capteur ou un domaine de conduite précis. Cosmos3-Nano-Sim-Auto est la version causale et distillée de Transfer-Auto, pensée pour la simulation en flux continu. Elle génère par petites séquences des observations synchronisées de caméras et de LiDAR, en quelques étapes de débruitage, afin de permettre des interactions longues et rapides dans une boucle fermée. Le système s’appuie sur l’historique généré et sur des contrôles de conduite mis à jour. Le modèle Sim-Transfer utilise un simulateur physique pour calculer le mouvement, les contacts et l’état de l’environnement, puis génère à partir de cette image spatiale des observations visuelles exploitables par une politique d’action. Le simulateur conserve la physique exacte, tandis que le modèle assure le rendu visuel guidé par le texte. Enfin, Sim-Bimanual simule l’évolution d’un environnement selon les mouvements d’un robot bipied ou à deux bras, avec des exemples pour les plateformes YAM et AgiBot. Il permet de passer d’une image initiale à des observations successives en fonction de contrôles de robot ou d’un opérateur humain. Un schéma d’action précis encadre les coordonnées, rotations, calibration des préhenseurs et masques de validité. Ces quatre modèles s’appuient sur une architecture Mixture-of-Transformers séparant le traitement du texte et la génération visuelle, reliées par attention. La génération par segments utilise l’historique, les contrôles disponibles et un cache clé-valeur, tandis que l’attention causale temporelle empêche l’accès aux observations futures. L’entraînement inclut un mécanisme auto-forcé pour apprendre à partir d’historiques générés et limiter l’accumulation d’erreurs. NVIDIA souligne que ces poids ouverts et recettes de post-entraînement offrent une base partagée pour adapter les modèles, comparer les méthodes et améliorer les évaluateurs de politiques, tout en rappelant que la fidélité de ces simulations reste un défi ouvert.