2ヶ月前

4D-StOP: 4次元LiDARのパノプティックセグメンテーションを空間時間的なオブジェクト提案生成と集約を使用して行う

Kreuzberg, Lars ; Zulfikar, Idil Esen ; Mahadevan, Sabarinath ; Engelmann, Francis ; Leibe, Bastian
4D-StOP: 4次元LiDARのパノプティックセグメンテーションを空間時間的なオブジェクト提案生成と集約を使用して行う
要約

本研究では、4DパノプティックLiDARセグメンテーションの課題に取り組む新しいパラダイムである4D-StOPを提案します。4D-StOPはまず、各点が対応する中心を投票するという中心予測に基づいて、時空間的な候補(spatio-temporal proposals)を生成します。これらのトラックレット候補は、学習された幾何学的特徴を使用してさらに集約されます。トラックレット集約手法は、全体の時空間体積に対してビデオレベルの4Dシーン表現を効果的に生成します。これは、ガウス確率分布で表される時空間埋め込みを使用する既存の最先端のエンドツーエンド学習可能なアプローチとは対照的です。我々の投票ベースのトラックレット生成手法と幾何学的特徴に基づく集約手法は、ガウス確率分布を使用して全体の4D体積をモデル化する方法と比較して、大幅に改善されたパノプティックLiDARセグメンテーション品質を達成します。4D-StOPはSemanticKITTIテストデータセットに適用され、63.9 LSTQという新しい最先端のスコアを達成しました。これは現在最高性能を持つエンドツーエンド学習可能な方法と比較して大きな(+7%)改善です。コードと事前学習済みモデルは以下のURLから入手可能です: https://github.com/LarsKreuzberg/4D-StOP.