ロボットにリアルタイム物理モデルを構築するNVIDIA WarpとGaussian Splattingの新アプローチ

NVIDIAのWarpとGaussian Splattingを活用してロボットが世界のデジタルモデルを構築する方法についての記事が掲載された。この研究は、現実世界の動的なデジタルツインをリアルタイムで構築するアプローチを紹介しており、ロボットが現実世界と連携しながら動作するための基盤となる技術として注目されている。人間は視覚から3次元の環境を理解し、物理的な相互作用をシミュレートする能力を持っているが、ロボットでも同様の能力を実現する試みが進んでいる。 研究では「Physically Embodied Gaussians」と呼ばれる手法を採用し、ロボットが現実世界をリアルタイムでシミュレートする内部モデルを持つことを目指している。従来の物理モデルは正確な3Dモデルやセンサの設定が必要だったが、最近の技術革新により、わずかな画像と基本的な物理知識でシミュレータを構築することが可能になった。リアルタイムでの観測データをもとに、シミュレータは継続的に修正されるため、初期のモデル精度が低くても長期的に正確性を保つことができる。 異なるiable rendering（微分可能レンダリング）技術であるGaussian Splattingを用いることで、リアルタイムでの視覚的な補正が可能になる。これにより、物理エンジンと視覚システムが連携し、リアルタイムのフィードバックループを形成する。この技術は、従来の30台以上のカメラが必要だったものを、ロボットの環境知識を活かして少ないカメラでも動作可能にする。 研究では、粒子とGaussianの二重表現を採用し、物理エンジンが粒子を動かし、視覚のエラーが粒子の位置を修正する仕組みを構築している。この双方向のシステムにより、ロボットは現実世界の状態を正確に再現しながら、効率的な動作が可能になる。 この研究は、NVIDIAのWarpとgsplatというツールを基盤としており、技術的な詳細やデモ、オープンソースコードは公式ウェブサイトで公開されている。