11일 전

CoBEV: 깊이와 높이 보완성으로 인해 도로변 3D 객체 탐지 성능 향상

Hao Shi, Chengshan Pang, Jiaming Zhang, Kailun Yang, Yuhao Wu, Huajian Ni, Yining Lin, Rainer Stiefelhagen, Kaiwei Wang
CoBEV: 깊이와 높이 보완성으로 인해 도로변 3D 객체 탐지 성능 향상
초록

路边 카메라 기반 3D 객체 탐지는 시각 중심 차량의 한계를 넘어서는 인지 범위를 확장하고 도로 안전성을 향상시키는 지능형 교통 시스템에서 핵심적인 과제이다. 기존 연구들은 깊이 또는 높이 정보 중 하나만을 활용하는 한계를 지니고 있으나, 본 연구에서는 깊이와 높이 모두가 중요하며 실제로 서로 보완적인 관계에 있음을 발견하였다. 깊이 특징은 정밀한 기하학적 정보를 포함하는 반면, 높이 특징은 다양한 높이 간격의 카테고리 구분에 주로 초점을 맞추며, 본질적으로 의미론적 맥락을 제공한다. 이러한 통찰은 깊이와 높이를 통합하여 강력한 BEV( Birds-Eye View) 표현을 구축하는 새로운 엔드투엔드 단일 카메라 3D 객체 탐지 프레임워크인 Complementary-BEV(CoBEV)의 개발을 촉진한다. 본 연구에서 제안된 CoBEV는 각 픽셀의 깊이 및 높이 분포를 추정하고, 새로 제안된 이단계 보완형 특징 선택(CFS) 모듈을 통해 카메라 특징을 3D 공간으로 리프팅하여 횡방향 융합을 수행한다. 또한, 융합 모드의 CoBEV 티처에서 사전 지식을 활용하여 탐지 정확도를 추가로 향상시키기 위해 BEV 특징 증류 프레임워크를 원활하게 통합하였다. 공개된 3D 탐지 벤치마크인 도로변 카메라 기반 DAIR-V2X-I 및 Rope3D, 그리고 사내 데이터셋인 Supremind-Road에서 광범위한 실험을 수행한 결과, CoBEV는 새로운 최고 성능을 달성할 뿐만 아니라, 장거리 시나리오와 노이즈가 심한 카메라 방해 상황에서 기존 방법보다 훨씬 뛰어난 견고성을 보였으며, 장면 및 카메라 파라미터가 극적으로 변화하는 이종 환경에서도 일반화 능력을 크게 향상시켰다. 특히, DAIR-V2X-I에서 카메라 모델의 차량 AP 점수가 처음으로 쉬운 모드 기준으로 80%에 도달하였다. 소스 코드는 https://github.com/MasterHow/CoBEV 에 공개될 예정이다.

CoBEV: 깊이와 높이 보완성으로 인해 도로변 3D 객체 탐지 성능 향상 | 최신 연구 논문 | HyperAI초신경