L'industrie de la robotique franchit une étape décisive en passant de démonstrations contrôlées à une autonomie généralisée et fiable dans des environnements réels imprévisibles. Lors de la conférence internationale sur la robotique et l'automatisation, huit chercheurs de NVIDIA Research ont présenté des travaux démontrant comment le transfert simulation vers réalité (sim-to-real) devient le fondement de cette évolution. Ces études couvrent l'ensemble de la chaîne de développement, de la coordination de bras multiples à la manipulation d'objets nouveaux, en passant par la modélisation vision-langage-action. Pour gérer des scénarios complexes comme dans un laboratoire pharmaceutique, la solution ScheduleStream permet à plusieurs bras robotiques de planifier et d'exécuter des tâches en parallèle grâce au calcul sur GPU. Ce framework offre une accélération des performances de trois fois sur des systèmes multi-bras et est disponible sur la plateforme NVIDIA Jetson. Par ailleurs, le cadre COMPASS résout le problème de la compatibilité entre différents corps de robots. En combinant l'apprentissage par imitation et l'apprentissage par renforcement résiduel entièrement en simulation via NVIDIA Isaac Lab, il améliore le taux de réussite de la navigation de 4,5 fois par rapport aux méthodes de base, tout en atteignant 80 % de succès lors de tests sur le terrain. La précision du préhension fait également l'objet d'innovations majeures. Grasp-MPC corrige continuellement le mouvement du robot lors de la saisie, imitant le toucher humain plutôt que d'exécuter un plan fixe. Entraîné sur deux millions de trajectoires simulées, ce système atteint 75 % de succès sur de nouveaux objets encombrés, contre 41 % pour les méthodes traditionnelles. De même, le cadre Deformable Cluster Manipulation permet de saisir des ensembles d'objets flexibles, comme des branches d'arbres emmêlées, sans intervention humaine, une capacité essentielle pour la gestion de câbles ou l'agriculture. L'assemblage de précision, souvent compromis par les imperfections du monde réel par rapport à la simulation, est amélioré par la méthode SPARR. Celle-ci utilise une correction en temps réel sur le matériel physique pour ajuster les erreurs de simulation, augmentant les taux de réussite de 38 %. Pour les tâches séquentielles complexes, le cadre Refinery apprend à positionner chaque composant pour faciliter les étapes suivantes, atteignant un taux de réussite de 91 % en simulation. L'intégration de modèles vision-langage-action est également renforcée. Le pipeline PEEK permet aux robots de se concentrer uniquement sur les éléments pertinents d'une scène encombrée, ce qui a généré une amélioration de précision de 41 fois pour les politiques entraînées en simulation. Enfin, la collaboration SEAL, développée avec plusieurs universités, garantit que les robots exécutent bien les séquences qu'ils ont planifiées, surmontant l'écart entre le raisonnement de l'IA et l'action réelle avec une amélioration de précision de 15 %. Ces avancées reposent sur un écosystème élargi incluant des bases de données ouvertes massives comme le Physical AI Dataset et les outils NVIDIA Isaac. Près de 50 travaux universitaires provenant d'institutions prestigieuses telles que l'Université Carnegie Mellon, l'ETH Zurich et le MIT s'appuient désormais sur ces technologies pour accélérer la recherche en intelligence physique, validant l'importance de la simulation haute fidélité pour déployer des systèmes robotiques robustes dans le monde réel.