モバイルマッピング点群におけるパンプティックセグメンテーションのレビュー

3Dポイントクラウドのパノプティックセグメンテーションは、(i) 各点に意味的クラスを割り当てること、および (ii) 各クラス内の点を個々のオブジェクトインスタンスに分離することを統合的に実行するタスクである。近年、深層3Dニューラルネットワークの登場により意味的セグメンテーション技術が急速に進展したことを背景に、包括的な3Dシーン理解に対する関心が高まっている。しかし、これまでの研究において、屋外モバイルマッピングデータにおけるパノプティックセグメンテーションに関する取り組みは極めて少なく、体系的な比較も行われていない。本研究はこのギャップを埋めることを目的としている。まず、パノプティックセグメンテーションパイプラインを構築する上で必要な要素と関連する先行研究をレビューする。さらに、街路マッピングの文脈におけるパノプティックセグメンテーションの現状を包括的かつ体系的に評価するため、モジュール型のパイプラインを構築した。副次的な成果として、NPM3Dデータセットにインスタンスラベルを追加することで、同タスク用の初の公開データセットを提供する。本研究で開発したデータセットおよびソースコードはすべて公開されている。また、現在のパノプティックセグメンテーション手法を屋外シーンおよび大規模オブジェクトに適応させるために必要な修正点について検討する。実験の結果、モバイルマッピングデータにおいてはKPConvが最も高い性能を示すが、処理速度は遅い。一方、PointNet++は最も高速ではあるが、性能は著しく劣る。スパースCNNは中間的な性能を示す。バックボーンの選定にかかわらず、埋め込み特徴量をクラスタリングによってインスタンスセグメンテーションする手法が、シフト座標を利用する手法よりも優れていることが明らかになった。