要約
私たちは3DMVという新しい手法を提案します。これは、室内環境でのRGB-Dスキャンの3次元意味論的シーンセグメンテーションを行うための、3次元・多視点予測ネットワークを組み合わせた手法です。既存の手法はこのタスクに幾何学的データまたはRGBデータのいずれかのみを使用するのに対し、我々は両方のデータモダリティを統合し、エンドツーエンドのネットワークアーキテクチャで処理します。単純に色情報を体積グリッドに投影して3次元空間だけで操作を行うと詳細が不足してしまうため、まず関連するRGB画像から特徴マップを抽出します。これらの特徴は、微分可能な逆射影層を使用して3次元ネットワークの体積特徴グリッドにマッピングされます。また、対象となる3次元スキャンシナリオでは多くのフレームが存在する可能性があるため、可変数のRGB入力ビューに対応するために多視点プーリングアプローチを使用しています。この学習されたRGBと幾何学的特徴の組み合わせにより、我々の2D-3D統合アーキテクチャは既存のベースラインよりも著しく優れた結果を達成しています。例えば、ScanNet 3Dセグメンテーションベンチマークにおける最終的な精度は、既存の体積アーキテクチャと比較して52.8%から75%へと向上しました。