DSGN++: Stereo 기반 3D 검출기에서 시각-공간 관계 활용

카메라 기반 3D 객체 검출기는 LiDAR 센서보다 넓은 배포 범위와 낮은 가격으로 환영받고 있습니다. 먼저, 3D 기하학과 의미를 표현하기 위한 스테레오 볼륨 구축 방법을 다루는 이전의 스테레오 검출기 DSGN을 재검토합니다. 스테레오 모델링을 개선하고, 2D-3D 파이프라인에서 효과적인 정보 흐름을 강화하기 위해 세 가지 주요 측면에서 고급 버전인 DSGN++를 제안합니다.첫째, 2D 정보를 효과적으로 스테레오 볼륨으로 변환하기 위해 깊이별 평면 스윕(Depth-wise Plane Sweeping, DPS) 방법을 제안합니다. 이 방법은 더 밀도 높은 연결을 허용하고 깊이 안내된 특징을 추출합니다. 둘째, 서로 다른 간격의 특징을 포착하기 위해 새로운 스테레오 볼륨인 듀얼뷰 스테레오 볼륨(Dual-view Stereo Volume, DSV)을 소개합니다. 이 볼륨은 전방 시점과 상단 시점 특징을 통합하여 카메라 프루스트럼 내의 서브-보셀 깊이를 재구성합니다. 셋째, 전경 영역이 3D 공간에서 점차 중요성이 줄어들면서, 우리는 크로스-모달 정렬을 보장하고 데이터 효율성을 개선하는 다중 모달 데이터 편집 전략인 스테레오-LiDAR 코피-페이스트(Stereo-LiDAR Copy-Paste)를 제안합니다.복잡한 장식 없이, 인기 있는 KITTI 벤치마크에서 다양한 모달 설정에 대한 광범위한 실험 결과가 보여주듯, 우리의 방법은 모든 카테고리에서 다른 카메라 기반 3D 객체 검출기보다 일관되게 우수한 성능을 보입니다. 코드는 https://github.com/chenyilun95/DSGN2 에서 확인할 수 있습니다.