15日前

InternScenes:現実的なレイアウトを備えた大規模なシミュラブルな屋内シーンデータセット

Weipeng Zhong, Peizhou Cao, Yichen Jin, Li Luo, Wenzhe Cai, Jingli Lin, Hanqing Wang, Zhaoyang Lyu, Tai Wang, Bo Dai, Xudong Xu, Jiangmiao Pang
InternScenes:現実的なレイアウトを備えた大規模なシミュラブルな屋内シーンデータセット
要約

エムボディドAI(身体化AI)の進展は、シーンの多様性と現実的なレイアウトを特徴とする大規模かつシミュレーション可能な3Dシーンデータセットに大きく依存している。しかし、既存のデータセットは、データ規模や多様性の不足、小物の欠如による簡略化されたレイアウト、さらには深刻なオブジェクト同士の衝突といった課題を抱えている。こうした課題を克服するため、本研究では、実世界スキャン、手続き型生成シーン、デザイナー作成シーンという3種類の異なるシーン源を統合することで、約4万の多様なインテリアシーンから構成される新たな大規模シミュレーション可能室内シーンデータセット「InternScenes」を提案する。本データセットには、196万個の3Dオブジェクトが含まれており、15種類の一般的なシーンタイプと288種類のオブジェクトクラスをカバーしている。特に、シーン内に多数の小物を保持することで、平均1エリアあたり41.5個のオブジェクトを含む現実的かつ複雑なレイアウトを実現している。我々は包括的なデータ処理パイプラインを構築し、実世界スキャンに対してリアルからシミュレーションへの再現(real-to-sim replica)を生成することで、シミュレーション可能性を確保した。また、インタラクティブなオブジェクトをシーンに組み込むことで、インタラクティビティを強化し、物理シミュレーションを用いてオブジェクトの衝突問題を解決した。InternScenesの有効性を、シーンレイアウト生成とポイントゴールナビゲーションという2つのベンチマークアプリケーションを用いて実証した。両方のタスクにおいて、複雑で現実的なレイアウトがもたらす新たな課題が明らかになった。さらに重要なのは、InternScenesがこれらのタスクにおけるモデル学習のスケーラビリティを実現し、こうした複雑なシーンにおける生成とナビゲーションの実現を可能にした点である。本研究では、データ、モデル、ベンチマークをすべてオープンソース化することを約束し、コミュニティ全体の発展に貢献することを目的としている。