3D-MPA: 3次元意味論的インスタンスセグメンテーションのためのマルチプロポーザルアグリゲーション

私たちは3D-MPAという、3次元点群上のインスタンスセグメンテーションの手法を提案します。入力として与えられた点群に対して、各点がそのオブジェクトの中心に投票するというオブジェクト中心的なアプローチを採用しています。予測されたオブジェクト中心からオブジェクト提案をサンプリングし、同じオブジェクト中心に投票した点群の特徴から提案特徴を学習します。グラフ畳み込みネットワーク（Graph Convolutional Network）は、提案間の関係性を導入し、低レベルの点特徴に加えて高レベルの特徴学習を提供します。各提案には、セマンティックラベル、前景-背景マスクで定義される関連点の集合、オブジェクトラベルスコアおよび集約特徴が含まれます。これまでの研究では、通常、非最大値抑制（Non-Maximum Suppression, NMS）を使用して最終的なオブジェクト検出やセマンティックインスタンスを得ていました。しかし、NMSは潜在的に正しい予測結果を排除してしまう可能性があります。そこで私たちの手法では、すべての提案を保持し、学習した集約特徴に基づいてそれらをグループ化します。実験結果から、提案のグループ化はNMSよりも優れており、ScanNetV2ベンチマークとS3DISデータセットにおける3次元オブジェクト検出とセマンティックインスタンスセグメンテーションタスクにおいて既存の最先端手法を超える性能を示すことが確認できました。