Les robots modernes réussissent bien dans des environnements contrôlés, mais peinent face à l’imprévisibilité, à la dextérité et aux interactions subtiles nécessaires pour accomplir des tâches du monde réel — qu’il s’agisse d’assembler des composants fragiles ou de manipuler des objets courants avec une précision humaine. La recherche en apprentissage robotique émerge comme la clé pour combler cet écart entre les démonstrations en laboratoire et le déploiement pratique. Pourtant, les approches traditionnelles sont freinées par des limites fondamentales. À l’occasion de CoRL 2025, NVIDIA Research présente trois avancées neuronales révolutionnaires qui redéfinissent la manière dont les robots apprennent et s’adaptent. Premièrement, NeRD (Neural Robot Dynamics) est un modèle d’apprentissage dynamique qui remplace les solveurs physiques classiques dans les simulateurs. Il prédit avec précision l’évolution des états d’un robot articulé, même sous contraintes de contact, en exploitant une représentation d’état centrée sur le robot et invariante spatialement. Grâce à une architecture légère basée sur GPT-2, NeRD atteint une erreur inférieure à 0,1 % sur des évaluations sur 1 000 pas, avec une stabilité sur des milliers de pas. Intégré à NVIDIA Warp et destiné à rejoindre le moteur physique Newton, NeRD permet une transition sim-to-real sans précédent, notamment avec une politique d’atteinte de cible Franka transférée directement du simulateur. Il peut aussi être affiné sur des données réelles pour réduire encore davantage l’écart entre simulation et monde réel. Deuxièmement, Reference-Scoped Exploration (RSE) simplifie l’apprentissage de compétences dextres à partir de données de capture de mouvement humain (MoCap). Contrairement aux méthodes traditionnelles qui combinent retargeting, suivi et correction résiduelle — sources d’accumulation d’erreurs — RSE intègre ces étapes dans une seule boucle d’optimisation. Les démonstrations humaines sont traitées comme une guidance souple, permettant au robot d’explorer des stratégies adaptées à sa propre morphologie. Un contrôle d’état basé sur RSE est ensuite transformé en politique générative à base de vision, capable de manipuler des objets à partir d’une seule image profonde et d’objectifs simples. Cette approche améliore les taux de réussite de près de 20 % sur le bras Inspire, surpassant systématiquement les méthodes de référence sur les bras Inspire et Allegro, tant en simulation qu’en réalité. Troisièmement, VT-Refine résout le défi de l’assemblage bimanuel précis en combinant vision et toucher. Ce cadre novateur utilise un petit jeu de données réelles (30 épisodes) pour pré-entraîner une politique de diffusion visuo-tactile, puis la fine-tune dans un jumeau numérique via l’apprentissage par renforcement (RL) dans un environnement parallélisé. L’infrastructure de simulation tactile, basée sur TacSL intégré à Isaac Lab, permet une modélisation réaliste de la souplesse des capteurs. Les observations incluent des nuages de points visuels, des données tactiles et les positions articulées. Le résultat est une amélioration significative : une hausse de 20 % des taux de réussite en vision seule, et de 40 % en visuo-tactile. Le léger décalage de sim-to-real (5 à 10 %) est largement compensé par une performance réelle accrue. Ces trois avancées — NeRD, RSE et VT-Refine — démontrent comment les modèles neuronaux, combinés à la simulation, à la vision et au toucher, permettent de rapprocher les capacités robotiques de celles des humains. Elles offrent des outils, bibliothèques et flux de travail scalables pour accélérer la recherche en robotique. Ces travaux seront présentés à CoRL et Humanoids 2025 à Séoul, et ouvrent la voie au défi BEHAVIOR 2025, qui évalue la raison, la locomotion et la manipulation sur 50 tâches domestiques. Experts du secteur soulignent que ces approches marquent une transition vers un apprentissage robotique plus autonome, plus robuste et moins dépendant des données humaines coûteuses. NVIDIA, via ses initiatives comme les cours gratuits Robotics Fundamentals et ses plateformes de développement, renforce son leadership dans l’écosystème de l’IA physique.