Reconstruire une scène dans NVIDIA Isaac Sim en n’utilisant qu’un smartphone est désormais possible grâce à NVIDIA Omniverse NuRec, une solution qui simplifie radicalement la création d’environnements 3D réalistes pour la simulation robotique. Ce processus, qui autrefois nécessitait des équipements spécialisés et des compétences techniques avancées, peut désormais être accompli en quelques étapes simples avec un iPhone ou tout autre smartphone moderne. La première étape consiste à capturer la scène réelle à partir de photos prises avec le téléphone. Il suffit de se déplacer lentement autour de l’environnement, en prenant des clichés depuis différentes hauteurs et angles, tout en veillant à ce que chaque image ait un recouvrement de 60 % environ avec les suivantes. Une bonne lumière et une mise au point stable sont essentielles pour éviter les flous. Pour garantir une compatibilité optimale avec les outils suivants, il est recommandé de configurer l’iPhone pour enregistrer les photos au format JPEG plutôt que HEIC. La deuxième étape utilise COLMAP, un logiciel open source de Structure-from-Motion (SfM), pour générer une reconstruction sparse. En analysant les photos et leurs positions respectives, COLMAP calcule les points 3D clés de la scène ainsi que les paramètres de caméra. Le résultat est un nuage de points initial, accompagné d’un fichier de base de données et d’un dossier contenant les données de reconstruction, prêt à être utilisé dans la phase suivante. La troisième étape est la plus puissante : la reconstruction dense grâce à 3DGUT, un algorithme basé sur le splatting gaussien qui transforme la reconstruction sparse en un modèle 3D photoréaliste. En alimentant 3DGUT avec les données de COLMAP et les images brutes, le modèle apprend à générer une scène complète, riche en détails visuels. Une fois l’entraînement terminé, le résultat peut être exporté au format USDZ, un format standardisé compatible avec Omniverse et Isaac Sim. Ce fichier contient non seulement la géométrie 3D mais aussi les propriétés visuelles et les transformations nécessaires pour une intégration fluide. La quatrième et dernière étape consiste à importer cette scène dans NVIDIA Isaac Sim (version 5.0 ou ultérieure). Après avoir lancé une scène vide, il suffit d’importer le fichier USDZ via le menu « File > Import » ou par glisser-déposer. La scène apparaît alors comme un ensemble de points colorés, offrant une impression de réalité presque photographique. Pour permettre aux robots de bouger, il faut ajouter un plan de sol physique via « Create > Physics > Ground Plane », puis le lier comme « proxy mesh » dans les propriétés du volume NuRec pour que les ombres soient correctement rendues. Enfin, un robot peut être ajouté directement depuis la bibliothèque d’Isaac Sim — que ce soit un bras manipulateur comme Franka Emika Panda, un robot mobile comme TurtleBot, ou un humanoïde. Une fois positionné, il est possible de l’animer, de le contrôler ou même de l’entraîner via des méthodes d’apprentissage par renforcement dans un environnement fidèle au monde réel. Cette avancée démontre comment les technologies d’intelligence artificielle et de reconstruction 3D, combinées à des outils accessibles comme un smartphone, permettent de révolutionner le développement de systèmes robotiques. Des experts du secteur soulignent que cette approche réduit considérablement le temps et les coûts de création de scènes de simulation, tout en ouvrant la voie à des applications dans l’industrie, la recherche et l’éducation. NVIDIA continue de renforcer son écosystème Omniverse, notamment avec des événements comme Physical AI and Robotics Day à GTC Washington, D.C., en octobre 2025, où ces innovations seront au cœur des discussions.