11日前

SCPNet:ポイントクラウド上の意味的シーン補完

Zhaoyang Xia, Youquan Liu, Xin Li, Xinge Zhu, Yuexin Ma, Yikang Li, Yuenan Hou, Yu Qiao
SCPNet:ポイントクラウド上の意味的シーン補完
要約

セマンティックシーンコンプリート(SSC)のための深層モデルを訓練することは、入力が疎且つ不完全であること、多様なスケールの多数のオブジェクトが存在すること、および動的オブジェクトに起因する固有のラベルノイズという課題に直面している。上記の問題に対処するため、以下の3つの解決策を提案する。1)コンプリートサブネットワークの再設計。複数のマルチパスブロック(MPB)を用いて多スケール特徴を効果的に集約する新規なコンプリートサブネットワークを設計した。この構造は、情報損失を引き起こすダウンサンプリング操作を一切含まず、特徴の保持を徹底している。2)マルチフレームモデルから豊かな知識を蒸留する。新規な知識蒸留目的として「Dense-to-Sparse Knowledge Distillation(DSKD)」を提案した。この手法は、マルチフレームの教師モデルから得られる高密度かつ関係性に基づくセマンティック知識を、単一フレームの学生モデルに効果的に転移することで、単一フレームモデルの表現学習能力を顕著に向上させる。3)コンプリートラベルの修正。既存のパンセグメンテーションラベルを活用するシンプルかつ効果的なラベル修正戦略を提案した。この戦略により、コンプリートラベルに残存する動的オブジェクトの痕跡を効果的に除去でき、特に動的オブジェクトの認識性能が大幅に向上する。本研究では、SemanticKITTIおよびSemanticPOSSという2つの公的SSCベンチマーク上で広範な実験を実施した結果、SCPNetはSemanticKITTIのセマンティックシーンコンプリートチャレンジで1位を獲得し、競合手法であるS3CNetを7.2 mIoUの差で上回った。また、SemanticPOSSデータセットにおいても従来のコンプリートアルゴリズムを上回る性能を達成した。さらに、SemanticKITTIのセマンティックセグメンテーションタスクにおいても競争力ある結果を示しており、シーンコンプリートタスクで学習された知識がセグメンテーションタスクにも有益であることを示している。

SCPNet:ポイントクラウド上の意味的シーン補完 | 最新論文 | HyperAI超神経