SEGCloud: 3D点群のセマンティックセグメンテーション

3Dセマンティックシーンラベリングは、現実世界で動作するエージェントにとって基本的な要素です。特に、センサから得られる生の3Dポイントセットをラベリングすることで、細かい粒度の意味論的情報が得られます。最近の研究ではニューラルネットワーク（NN）の能力を活用していますが、粗いボクセル予測に限られており、全体的な一貫性を明示的に強制することはできません。本稿ではSEGCloudというエンドツーエンドのフレームワークを提案します。このフレームワークは3Dポイントレベルセグメンテーションを取得するために、NNの利点と三線形補間（TI）、完全結合条件付き随伴フィールド（FC-CRF）を組み合わせています。3DフルコンボリューショナルNNからの粗いボクセル予測は、三線形補間を通じて元の3Dポイントに逆転送されます。その後、FC-CRFが全体的一貫性を強制し、各ポイントに対して細かい粒度の意味論的情報を提供します。後者の部分は微分可能な再帰型NNとして実装され、共同最適化が可能となります。我々はこのフレームワークを2つの屋内データセットと2つの屋外データセット（NYU V2, S3DIS, KITTI, Semantic3D.net）で評価し、すべてのデータセットにおいて最先端技術と同等かそれ以上の性能を示しました。