NVIDIA dévoile GR00T 2 pour des robots plus précis au CoRL

À l’occasion de la Conférence sur l’apprentissage robotique (CoRL) organisée cette semaine à Austin, NVIDIA et ses partenaires ont présenté de nouvelles technologies ouvertes pour rendre les robots plus précis et autonomes, en mettant l’accent sur la simulation de la manipulation fine et sur la robotique agentique. L’objectif est d’aider les systèmes robotiques à passer de démonstrations en laboratoire à des déploiements industriels. Deux articles NVIDIA figurent parmi six finalistes pour les prix du meilleur article de la conférence, sur des milliers de propositions. NVIDIA a introduit GR00T 2, un modèle ouvert d’action-environnement construit sur Cosmos et entraîné sur des données robotiques et humaines, dont 100 000 heures de données égocentriques ouvertes. Ces modèles cherchent à faire percevoir un robot, anticiper les effets de ses actions et exécuter des tâches complexes en plusieurs étapes. Selon l’entreprise, GR00T 2 se classe parmi les trois meilleurs modèles dans plusieurs catégories des benchmarks RoboCasa365, RoboLab, RoboDojo et MolmoSpaces, notamment les modèles combinant vision, langage et action ainsi que les modèles d’action-environnement. Nexuni, Foxconn et Siemens testent le modèle pour la manipulation du linge, l’automatisation d’usines ou des cas industriels. MicroAGI l’utilise aussi, après un apprentissage par renforcement, pour changer des câbles Ethernet avec un bras YAM, grâce à un flux agentique qui crée et calibre automatiquement des environnements de simulation avec Isaac Lab 3.0 et le moteur Newton. La simulation devient centrale, car elle permet d’entraîner, d’affiner et d’évaluer des compétences avant leur transfert sur des robots physiques. Isaac Lab 3.0 s’appuie sur PhysX et Newton pour simuler des objets déformables comme les câbles et les tissus, ainsi que des mains robotiques aux nombreuses articulations. NVIDIA revendique jusqu’à 2,5 fois plus de débit d’entraînement en simulation par rapport à une version précédente dans un test de manipulation visuelle. Le moteur Newton est adopté par plusieurs acteurs, dont Skild AI, Flexion, FieldAI, Dyna Robotics, Walden Robotics et Dexmate. Autre exemple, AlphaNIST apprend 20 tâches d’assemblage de pièces au millimètre avec une seule politique et un simple signal de succès, atteignant plus de 98 % de réussite à l’entraînement contre 81 % pour des politiques séparées, tout en réduisant d’environ 39 fois le temps GPU. Pour évaluer ces progrès, NVIDIA a annoncé la version 0.4 en préversion développeur d’Isaac Lab-Arena, un cadre d’évaluation à grande échelle. Deux nouveaux benchmarks ouverts, DexBench et VABAR, mesurent la dextérité et l’adaptation à des tâches industrielles, avec des variations d’objets, d’espace, de physique et de difficulté. Enfin, le cadre Graph-as-Policy de l’Université Berkeley relie des compétences robotiques en programmes coordonnés via des agents. Ces agents testent les programmes en simulation et les corrigent en cas d’échec, afin de rendre les tâches complexes plus fiables et vérifiables par des ingénieurs. Berkeley décrit la robotique agentique comme une voie vers des robots capables de comprendre, planifier et s’adapter hors des environnements contrôlés.