LiDARを用いた4次元パノプティックセグメンテーションの動的シフトネットワークによる実現

自動運転の急速な進歩に伴い、そのセンシングシステムにより包括的な3次元認識機能を搭載することが重要となっています。しかし、既存の研究ではLiDARセンサからの物体（例：車両や歩行者）またはシーン（例：木々や建物）の解析に焦点が当てられています。本研究では、これらの物体とシーンを統一的に解析することを目指すLiDARベースのパノプティックセグメンテーションという新しい課題に取り組んでいます。この挑戦的な新タスクへの最初の試みの一つとして、我々は動的シフトネットワーク（Dynamic Shifting Network, DS-Net）を提案します。DS-Netは点群データ領域において効果的なパノプティックセグメンテーションフレームワークとして機能します。特に、DS-Netには以下の3つの魅力的な特徴があります：1) 強力なバックボーン設計。DS-NetはLiDAR点群データ専用に設計された円筒畳み込みを採用しています。2) 複雑な点分布に対する動的シフト。一般的に使用されるクラスタリングアルゴリズムは、非一様な点群分布と異なるインスタンスサイズを持つ複雑な自動運転シーンに対応できないことが観察されています。そこで、異なるインスタンスに対してリアルタイムでカーネル関数を適応する効率的な学習可能なクラスタリングモジュールである動的シフトを提案します。3) 4次元予測への拡張。さらに、時間的に統合されたインスタンスクラスタリングにより、アライメントされたLiDARフレームに対して4次元パノプティックLiDARセグメンテーションへとDS-Netを拡張しました。LiDARベースのパノプティックセグメンテーションの性能評価を行うために、大規模自動運転LiDARデータセットであるSemanticKITTIとnuScenesからベンチマークを作成し整備しました。広範囲にわたる実験結果から、我々が提案するDS-Netは両タスクにおいて現行の最先端手法よりも優れた精度を達成していることが示されました。特に単一フレーム版タスクではPQ指標で1.8%上回り、4次元版タスクではLSTQ指標で2位の手法を5.4%上回っています。