OVIR-3D: 3Dデータを学習せずにオープンボキャブラリーの3Dインスタンス検索

本研究では、OVIR-3Dという単純ながら効果的な手法を提案します。この手法は、3次元データを使用せずにオープンボキャブラリーの3次元物体インスタンス検索を実現します。言語クエリが与えられた場合、提案手法はインスタンスとテキストクエリの特徴類似度に基づいて、順位付けされた3次元物体インスタンスセグメントの集合を返すことができます。これは、テキストに合わせた2次元領域提案を多視点で3次元空間に融合することによって達成されます。2次元領域提案ネットワークは、より入手しやすく通常は3次元データセットよりも大規模な2次元データセットを利用することができます。提案される融合プロセスは効率的であり、ほとんどの室内3次元シーンに対してリアルタイムで実行でき、3次元空間での追加学習を必要としません。公開データセットおよび実際のロボットを用いた実験により、本手法の有効性とロボットナビゲーションや操作への応用可能性が示されています。