PanopticFusion: オンラインボリューメトリックセマンティックマッピング - スタフとオブジェクトのレベルでの処理

我々はPanopticFusionを提案します。これは、背景領域（stuff）と前景物体（things）のレベルで新しいオンラインボリュームセマンティックマッピングシステムです。従来のセマンティックマッピングシステムとは異なり、PanopticFusionは背景領域のクラスラベルを密集して予測し、任意の前景物体を個別にセグメンテーションすることができます。さらに、本システムは空間ハッシュ化されたボリュームマップ表現を使用することで、大規模なシーンを再構築し、ラベリングされたメッシュを抽出する機能を持っています。本システムではまず、2次元セマンティックセグメンテーションとインスタンスセグメンテーションの出力を融合して、入力されるRGBフレームに対して画素単位でのパノプティックラベル（背景領域のクラスラベルと前景物体領域のインスタンスID）を予測します。予測されたパノプティックラベルは深度計測値と共にボリュームマップに統合されますが、フレーム間で変動する可能性のあるインスタンスIDの一貫性を保つために、その時点の3次元マップを参照します。また、マップ正規化のためにパノプティックラベルに関する完全結合条件付き隨機場（CRF: Conditional Random Field）モデルを構築しています。オンラインCRF推論のために、我々は新しい一項ポテンシャル近似法とマップ分割戦略を提案します。我々はScanNet (v2)データセット上で本システムの性能評価を行いました。PanopticFusionは語彙的およびインスタンスセグメンテーションベンチマークにおいて最新のオフライン3次元DNN手法に匹敵または優れた結果を示しました。さらに、提案システムによって生成された3次元パノプティックマップを使用した有望な拡張現実アプリケーションも示しています。