3D-SIS: 3DセマンティックインスタンスセグメンテーションのRGB-Dスキャン

我々は3D-SIS（3次元セマンティックインスタンスセグメンテーション）を紹介します。これは、市販のRGB-Dスキャンにおける3次元セマンティックインスタンスセグメンテーションのための新しいニューラルネットワークアーキテクチャです。当手法の核心的なアイデアは、幾何学的信号と色信号の両方から共同で学習することにより、正確なインスタンス予測を可能にすることです。2Dフレームのみを使用するのではなく、我々は多くのコンピュータビジョンアプリケーションがマルチビューRGB-D入力を利用可能であることに注目し、これらの多様なモーダル入力を効果的に統合する3次元インスタンスセグメンテーション手法を開発しました。当ネットワークは、3次元再構築の姿勢合わせに基づいて2D画像を体積グリッドに関連付けることで、高解像度RGB入力を活用しています。各画像に対して、まず一連の2D畳み込みによって各ピクセルから2D特徴量を抽出します。その後、得られた特徴ベクトルを3次元グリッド内の対応するボクセルに逆投影します。この2Dと3D特徴学習の組み合わせにより、最先端の代替手法よりも大幅に高い精度での物体検出とインスタンスセグメンテーションが可能となります。我々は合成データおよび実世界データの公開ベンチマークにおいて結果を示しており、実世界データではmAP（平均精度）が13ポイント以上向上しています。