HyDRa 해제: 하이브리드 융합, 깊이 일관성 및 레이다를 이용한 통합 3D 인식

최근 수년간 자율 주행을 위한 저비용, 비전 중심의 3D 인식 시스템이 고가의 LiDAR 기반 방법과의 격차를 좁히는 데 상당한 진전을 이룩하였습니다. 완전히 신뢰할 수 있는 대안으로 발전하는 데 있어서 주요 과제는 강건하고 정확한 깊이 예측 능력입니다. 카메라 기반 시스템은 장거리 감지와 불리한 조명 및 날씨 조건에서 어려움을 겪기 때문입니다. 본 연구에서는 다양한 3D 인식 작업을 위해 설계된 새로운 카메라-레이더 융합 아키텍처인 HyDRa를 소개합니다.HyDRa는 밀도 기반 BEV (새로운 시점, Bird's Eye View) 아키텍처의 원칙을 바탕으로 하여, 보완적인 카메라와 레이더 특성을 두 가지 다른 표현 공간에서 결합하는 혼합 융합 접근법을 제시합니다. 우리의 Height Association Transformer 모듈은 이미 관점 표현(view)에 있는 레이더 특성을 활용하여 더욱 강건하고 정확한 깊이 예측을 생성합니다. BEV에서는 Radar-weighted Depth Consistency를 통해 초기 희소 표현(sparse representation)을 개선합니다.HyDRa는 공개된 nuScenes 데이터셋에서 64.2 NDS (+1.8)와 58.4 AMOTA (+1.5)라는 새로운 최고 성능을 달성하였습니다. 또한, 우리 새로운 방대하고 공간적으로 정확한 BEV 특성들은 Occ3D 벤치마크에서 모든 이전 카메라 기반 방법들을 압도적으로 3.7 mIoU로 능가하는 강력한 점유율 표현(occupancy representation)으로 직접 변환될 수 있습니다. 코드와 모델은 https://github.com/phi-wol/hydra에서 제공됩니다.