SGAligner: 3D シーンのシーングラフを用いたアライメント

3Dシーングラフの構築は、最近、エンボディAIアプリケーションにおけるシーン表現のトピックとして注目を集めています。これは、世界を構造化かつ豊かに表現するためのものです。これらのグラフがナビゲーションや部屋の再配置などの下流タスク（例えば、ナビゲーションと部屋の再配置）の解決にますます活用される中、それらを環境の3Dマップ作成に再利用することは可能でしょうか？これはエージェント操作において重要なステップです。本研究では、部分的な重複から全くの重複がないまで、任意の変更を含む3Dシーングラフのペアを合わせるという基本的な問題に焦点を当てています。私たちはSGAlignerを提案します。これは、未知の重複（もしあれば）や環境での変更に対して堅牢な3Dシーングラフのペアを合わせる最初の手法です。マルチモーダル知識グラフから着想を得て、コントラスティブ学習を使用して共同でマルチモーダル埋め込み空間を学習します。私たちは3RScanデータセット上で評価を行い、さらに当手法が3Dシーン間の変換推定にも使用できることを示しています。これらのタスクに対するベンチマークが不足しているため、このデータセット上でそれらを作成しました。コード、ベンチマーク、および学習済みモデルはプロジェクトウェブサイトで公開されています。