NVIDIAが提供するOmniverse NuRecを活用し、スマートフォン1台でロボット用の3Dシミュレーション環境を構築できる技術が登場した。従来、リアルな3Dシーンの作成には専用カメラや高コストなハードウェアが必要だったが、iPhoneなどの普通のスマートフォンで撮影した写真から、完全な3D環境を再構築することが可能になった。 まず、実際の空間をゆっくりと周囲を回りながら、60％以上の重複率で複数角度から写真を撮影する。照明や焦点が安定し、ブレが少ないことが重要。iPhoneのHEIC形式はCOLMAPに対応していないため、設定でJPEG形式に切り替えるか、変換しておく必要がある。 次に、オープンソースのSfMツール「COLMAP」を使って、撮影した画像からカメラの位置とシーンのスパースな3D構造を計算する。これにより、点群データとカメラパラメータが得られる。 その後、3DGUTというアルゴリズムでスパースモデルをもとに高精細な3D再構築を実行。GPUの性能に応じて数分から数時間かかるが、最終的にUSDZ形式の高精細3Dシーンが生成される。このファイルは、NVIDIA Isaac Simと直接連携可能で、ガウススプラッティング技術によりリアルな視覚表現を実現する。 最後に、Isaac Sim（バージョン5.0以上）にUSDZファイルをインポート。再構築されたシーンが点群として表示される。物理的な床として「Ground Plane」を追加し、影の描画を可能にするための「Proxy Mesh」を設定。その後、Franka Emika Pandaなどのロボットアームや移動型ロボットをシーンに配置。Playボタンを押すと、実世界を再現した環境でロボットが動作する様子をリアルタイムで確認できる。 このプロセスにより、開発者は手軽に物理AIやロボット学習用の高精度シミュレーション環境を構築できる。NVIDIAは2025年10月29日、ワシントンD.C.で開催するGTCで「Physical AI and Robotics Day」を予定しており、この技術の活用を促進する。