JSIS3D: 3次元点群の共通セマンティック-インスタンス分割を用いたマルチタスクポイントネットワークとマルチバリュー条件付き隨機場

深層学習技術は、2D画像に関連するほとんどの視覚タスクのための主要なモデルとなっています。しかし、3D空間におけるいくつかのタスク、例えば3Dシーン理解においては、その能力が完全に活用されていません。本研究では、3D点群のセマンティックセグメンテーションとインスタンスセグメンテーションの問題を同時に解決することを目指します。具体的には、2つのタスクを同時に実行するマルチタスクポイントネットワークを開発しました。1つ目のタスクは3D点のセマンティッククラスを予測し、2つ目のタスクは同じオブジェクトインスタンスに属する点が類似した埋め込みによって表現されるように、これらの点を高次元ベクトルに埋め込むことです。さらに、セマンティックラベルとインスタンスラベルを統合するためのマルチバリュー条件付き隨機場モデルを提案し、セマンティックセグメンテーションとインスタンスセグメンテーションの問題をフィールドモデル内のラベルの共同最適化として定式化しました。提案手法はS3DISやSceneNNなどの異なる室内シーンデータセットで既存手法と比較して詳細に評価されました。実験結果は、提案された共同セマンティック-インスタンスセグメンテーションスキームが単独のコンポーネントよりも堅牢であることを示しており、また我々の手法はセマンティックセグメンテーションにおいて最先端の性能を達成しています。