セマンティックセグメンテーションを活用したLiDAR点群向けシーンコンプリート

屋外シーン補完は、3Dシーン理解において重要な課題であり、知能ロボティクスや自動運転分野においてその役割が重要である。LiDARによるデータ取得の疎らさのため、3Dシーン補完およびセマンティックセグメンテーションはさらに複雑な問題となる。セマンティック特徴は補完タスクに制約条件やセマンティック事前知識を提供できるため、これらとの関係性の探求は有意義である。そこで本研究では、エンドツーエンドで動作するセマンティックセグメンテーション支援型のシーン補完ネットワークを提案する。本ネットワークは2次元補完ブランチと3次元セマンティックセグメンテーションブランチから構成される。具体的には、入力として生の点群データを受け取り、セグメンテーションブランチから抽出された特徴を階層的に補完ブランチに統合することで、セマンティック情報を供給する。BEV（Bird's Eye View）表現と3次元スパース畳み込みを採用することにより、計算負荷を低減しつつも効果的な表現力を維持できる。さらに、セグメンテーションブランチのデコーダーを補助的に利用し、推論段階では不要な部分を削除することで、計算コストの削減を実現できる。広範な実験により、本手法がSemanticKITTIデータセットにおいて競争力ある性能を発揮し、低レイテンシで動作することを示した。コードおよびモデルは、https://github.com/jokester-zzz/SSA-SC にて公開される予定である。