S3CNet：LiDARポイントクラウド向けのスパース意味的シーンコンプリートネットワーク

自律走行車や類似のロボットシステムが3次元視覚にますます依存する中、深層畳み込みニューラルネットワーク（DCNN）を用いたLiDARスキャンの処理は、学術界および産業界の共通のトレンドとなっている。特に、スパースな表現から密な3次元構造および対応するセマンティックラベルを推定する「セマンティックシーンコンプリート（Semantic Scene Completion）」という課題に対して、これまでのアプローチは、密度の高い点群データや深度マップ、あるいはRGB画像からのセマンティックセグメンテーションマップを融合した場合、小規模な屋内シーンにおいてある程度の成功を収めている。しかし、動的で点群密度が指数的に低下する大規模な屋外シーンに適用すると、これらのシステムの性能は著しく低下する。また、スパースな3次元ボリューム全体を処理することは、メモリ制約により実現不可能であり、実務では全体のボリュームを複数の等分されたセグメントに分割して個別に推論するという妥協策が採られるが、これにより計算効率が著しく低下し、リアルタイム処理は不可能となる。本研究では、大規模環境のスパース性を統合的に扱う手法を提案し、単一の統一されたLiDAR点群からセマンティック的に完成されたシーンを予測する、スパース畳み込みに基づくニューラルネットワーク「S3CNet」を構築した。実験の結果、本手法は3次元タスクにおいて既存のすべての手法を上回り、SemanticKITTIベンチマークにおいて最先端の性能を達成した。さらに、2次元版のS3CNetを提案し、複数視点からの融合戦略を導入することで、奥行きが遠い領域におけるオクルージョンや極端なスパース性に対するロバスト性を補完した。本研究では、2次元セマンティックシーンコンプリートタスクに関する実験を実施し、2次元スパースネットワークの性能を、2つのオープンソースデータセット上で鳥瞰図（bird’s eye view）セグメンテーションに適応された複数の先進的なLiDARセグメンテーションモデルと比較した。