要約
インスタンスセグメンテーションおよびオブジェクト検出は、コンピュータビジョンおよびロボティクス分野における重要な課題である。本研究では、新たなオブジェクトセグメンテーションおよび検出システムを提案することで、これらの課題に取り組む。まず、RGB画像、深度画像のみ、またはRGB-D画像に基づいて2次元オブジェクトを検出する。その後、2次元検出結果からフリスム（frustum）を生成し、各フリスムに対して3次元候補ボクセル画像を提案する。さらに、これらの候補ボクセル画像を用いて3次元畳み込みニューラルネットワーク（3D CNN）を構築し、3次元インスタンスセグメンテーションおよびオブジェクト検出を実行する。SUN RGB-Dデータセットにおける実験結果から、本研究で提案するRGB-Dベースのシステムは、最新の手法と比較して3次元推論速度が大幅に向上しており、精度の著しい低下は見られない。同時に、RGB-D画像を用いない深度画像のみを入力とした場合でも、同程度の精度を達成できる。これは、本手法が低照度環境下やRGB画像を取得できないセンサを用いた状況でも良好に動作することを意味し、極めて重要である。最後に、パイプライン内にセグメンテーションを組み込むことで、検出精度の向上が図られるとともに、3次元インスタンスセグメンテーションの出力も同時に可能となる。