17日前

JSENet:3次元点群向け連合的セマンティックセグメンテーションとエッジ検出ネットワーク

Zeyu Hu, Mingmin Zhen, Xuyang Bai, Hongbo Fu, Chiew-lan Tai
JSENet:3次元点群向け連合的セマンティックセグメンテーションとエッジ検出ネットワーク
要約

セマンティックセグメンテーションとセマンティックエッジ検出は、コンピュータビジョンにおいて密接な関係を持つ双対的な問題と見なすことができる。近年、学習ベースの3次元セマンティックセグメンテーション手法は急速に進化しているが、3次元セマンティックエッジ検出器の学習にはほとんど注目が集まっておらず、さらに両タスクを統合的に学習する手法については、その研究は極めて少ない状況にある。本論文では、初めて3次元セマンティックエッジ検出タスクに取り組み、2つのタスクを同時に実行する新しい二本のストリーム構造を有する完全畳み込みネットワーク(two-stream fully-convolutional network)を提案する。特に、領域情報とエッジ情報を明示的に結合するための統合精緻化モジュール(joint refinement module)を設計し、両タスクの性能向上を図った。さらに、セグメンテーション結果の境界がより明確になるようにネットワークの学習を促進する新しい損失関数を提案している。S3DISおよびScanNetデータセットにおける広範な評価結果から、本手法はセマンティックセグメンテーションにおいて既存の最先端手法と同等またはそれ以上の性能を達成するとともに、セマンティックエッジ検出においてもベースライン手法を上回る結果を示した。コード公開:https://github.com/hzykent/JSENet