PointBeV: BeV 예측을 위한 희소 접근법

새로운 시점(Bird's-eye View, BeV) 표현이 주행 응용 분야에서 사실상 공유된 공간으로 부각되면서 센서 데이터 융합을 위한 통합된 공간을 제공하고 다양한 후속 작업을 지원하고 있습니다. 그러나 기존 모델들은 고정된 해상도와 범위를 가진 그리드를 사용하여 모든 셀에 일관되게 자원을 할당함으로써 계산 효율성이 떨어지는 문제가 있었습니다. 이를 해결하기 위해 우리는 PointBeV라는 새로운 희소 BeV 세그멘테이션 모델을 제안합니다. 이 모델은 밀집 그리드 대신 희소 BeV 셀에서 작동하여 메모리 사용량을 정밀하게 제어할 수 있으며, 긴 시간적 맥락의 활용과 메모리 제약이 있는 플랫폼에서도 작동할 수 있도록 합니다.PointBeV는 훈련 시 효율적인 두 단계 전략을 사용하여 관심 영역에 대한 집중적인 계산을 가능하게 합니다. 추론 시에는 다양한 메모리/성능 균형 조절이 가능하며, 새로운 특정 용도에 유연하게 적응할 수 있습니다. PointBeV는 차량, 보행자, 차선 세그멘테이션에서 nuScenes 데이터셋에서 최고의 성능을 달성하며, 오직 희소 신호만으로 훈련되었음에도 불구하고 정적 및 시간적 환경에서 우수한 성능을 보여주고 있습니다.우리는 PointBeV의 코드와 함께 아키텍처에서 사용되는 두 가지 새로운 효율적인 모듈인 Sparse Feature Pulling(희소 특성 추출)과 Submanifold Attention(하부다양체 주의)를 공개할 예정입니다. Sparse Feature Pulling은 이미지에서 BeV로 효과적으로 특성을 추출하도록 설계되었으며, Submanifold Attention은 효율적인 시간적 모델링을 가능하게 합니다. 우리의 코드는 https://github.com/valeoai/PointBeV에서 확인하실 수 있습니다.