초록
우리는 스테레오 이미지에서 희소와 밀도, 의미론적 정보와 기하학적 정보를 완전히 활용하여 자율 주행을 위한 3D 객체 검출 방법을 제안합니다. 우리의 방법은 Stereo R-CNN으로, Faster R-CNN을 스테레오 입력에 확장하여 좌우 이미지에서 동시에 객체를 검출하고 연관시키는 데 사용됩니다. 스테레오 Region Proposal Network (RPN) 이후에 추가적인 분기를 추가하여 희소 특징점, 시점, 및 객체 차원을 예측하며, 이들은 2D 좌우 박스와 결합되어 대략적인 3D 객체 바운딩 박스를 계산합니다. 그런 다음, 좌우 RoIs(Region of Interest)를 사용한 영역 기반 광도 정렬을 통해 정확한 3D 바운딩 박스를 복원합니다. 우리의 방법은 깊이 입력과 3D 위치 감독이 필요하지 않지만, 모든 기존의 완전히 감독된 이미지 기반 방법보다 우수한 성능을 보입니다. 어려운 KITTI 데이터셋에서의 실험 결과, 우리의 방법은 3D 검출 및 3D 위치 추정 작업 모두에서 최신의 스테레오 기반 방법보다 약 30% AP(Average Precision)가 높다는 것을 확인하였습니다. 코드는 https://github.com/HKUST-Aerial-Robotics/Stereo-RCNN 에 공개되었습니다.