RoarNet: RegiOn Approximation Refinement을 기반으로 한 강건한 3D 객체 검출

우리는 RoarNet을 제시합니다. 이는 2D 이미지와 3D 라이다 포인트 클라우드에서 3D 객체 검출을 위한 새로운 접근 방식입니다. PointNet을 백본 네트워크로 사용하는 두 단계 객체 검출 프레임워크를 기반으로, 우리는 3D 객체 검출 성능을 향상시키기 위해 몇 가지 혁신적인 아이디어를 제안합니다. 우리 방법의 첫 번째 부분인 RoarNet_2D는 단일 카메라 이미지에서 객체의 3D 자세를 추정하여 더 깊이 조사할 위치를 근사하며, 기하학적으로 가능한 여러 후보를 도출합니다. 이 단계는 대규모 탐색 공간에서 3D 포인트 클라우드의 처리가 요구되는 경우에 비해 가능한 3D 영역을 크게 좁히는 역할을 합니다. 그 다음, 두 번째 부분인 RoarNet_3D는 후보 영역을 받아 재귀적으로 최종 자세를 결정하기 위해 심층 추론을 수행합니다. PointNet에서 영감을 받은 RoarNet_3D는 데이터 손실 없이 직접 3D 포인트 클라우드를 처리하여 정확한 검출 결과를 제공합니다.우리는 KITTI라는 3D 객체 검출 벤치마크에서 우리의 방법을 평가했습니다. 실험 결과, RoarNet은 공개된 최신 방법들보다 우수한 성능을 보였습니다. 특히, 라이다와 카메라가 시간 동기화되지 않은 환경에서도 RoarNet은 최신 방법들을 능가하였으며, 이는 실제 주행 환경에서 실질적으로 중요합니다. RoarNet은 Tensorflow로 구현되었으며, 사전 학습된 모델과 함께 공개되어 있습니다.