PointBeV: BeV予測のためのスパースアプローチ

バードアイビュー（BeV）表現は、ドライビングアプリケーションにおける事実上の共有空間として台頭し、センサデータの融合を統一的な空間で提供し、さまざまな下流タスクを支援しています。しかし、従来のモデルは固定解像度と範囲を持つグリッドを使用しており、すべてのセルに均一にリソースを割り当てることによる計算効率の低下が問題となっています。この課題に対処するため、私たちは新しいスパースBeVセグメンテーションモデルであるPointBeVを提案します。PointBeVは、密なグリッドではなくスパースBeVセル上で動作することで、メモリ使用量に対する精密な制御を提供し、長い時間的コンテキストの利用やメモリ制約のあるプラットフォームへの対応が可能となります。PointBeVは訓練時に効率的な二段階戦略を採用しており、興味ある領域に焦点を当てた計算を可能にします。推論時には、さまざまなメモリ/性能トレードオフに対応でき、新しい特定の使用例に柔軟に対応できます。PointBeVはnuScenesデータセットにおいて車両、歩行者、およびレーンセグメンテーションで最先端の結果を達成しており、スパース信号のみで訓練されているにもかかわらず静的および時間的設定での優れた性能を示しています。私たちはコードとともにアーキテクチャで使用される2つの新しい効率的なモジュールも公開します：画像からBeVへの特徴量抽出のために設計されたSparse Feature Pulling（スパース特徴量引き出し）と、効率的な時間的モデリングを可能にするSubmanifold Attention（部分多様体注意）。私たちのコードは以下のURLから入手可能です：https://github.com/valeoai/PointBeV。