要約
本稿では、3次元点群におけるインスタンスセグメンテーションとセマンティックセグメンテーションを同時に処理することを目的として、新しい統合型アプローチであるJSNetを提案する。まず、原始的な点群から堅牢な特徴を抽出するための効果的なバックボーンネットワークを構築する。次に、より判別力の高い特徴を得るため、バックボーンネットワークの異なる層の特徴を統合する点群特徴融合モジュールを提案する。さらに、インスタンスとセマンティックの両方のセグメンテーションを統合的に処理するためのジョイントインスタンスセマンティックセグメンテーションモジュールを開発した。このモジュールは、セマンティック特徴をインスタンス埋め込み空間に変換し、変換後の特徴をインスタンス特徴と再統合することでインスタンスセグメンテーションを促進する。同時に、インスタンス特徴をセマンティック特徴空間に集約することでセマンティックセグメンテーションの性能も向上させる。最後に、インスタンス埋め込みに対して単純な平均シフトクラスタリング（mean-shift clustering）を適用することでインスタンス予測を生成する。実験において、大規模な3次元屋内点群データセットS3DISおよびパーツデータセットShapeNet上でJSNetの性能を評価し、既存の手法と比較した。実験結果から、本手法は3次元インスタンスセグメンテーションにおいて最先端の手法を大きく上回り、3次元セマンティック予測においても顕著な性能向上を達成したことが示された。また、パーツセグメンテーションにおいても有効であることが確認された。本研究のソースコードは、https://github.com/dlinzhao/JSNet にて公開されている。