Omni3D: 야외 환경에서의 3D 객체 검출을 위한 대규모 벤치마크 및 모델

단일 이미지에서 3D 장면과 객체를 인식하는 것은 로봇공학 및 증강현실/가상현실(AR/VR) 분야에 응용되는 컴퓨터 비전의 오랜 목표입니다. 2D 인식의 경우, 대규모 데이터셋과 확장 가능한 솔루션이 전례 없는 발전을 이끌었습니다. 그러나 3D에서는 기존 벤치마크의 규모가 작고, 접근 방식이 소수의 객체 카테고리와 특정 도메인, 예를 들어 도시 주행 장면에 특화되어 있습니다. 2D 인식의 성공에 영감을 받아, 우리는 Omni3D라는 대규모 벤치마크를 소개하며 3D 객체 검출 작업을 재검토합니다. Omni3D는 기존 데이터셋을 재활용하고 결합하여 234,000장의 이미지를 포함하며, 3백만 개 이상의 인스턴스와 98개의 카테고리를 애노테이션한 데이터셋입니다. 이러한 규모에서 3D 검출은 카메라 내부 매개변수의 변동성과 장면 및 객체 유형의 풍부한 다양성으로 인해 어려움을 겪습니다. 우리는 카메라와 장면 유형에 대해 일반화할 수 있는 통합적인 접근 방식으로 설계된 Cube R-CNN이라는 모델을 제안합니다. 실험 결과, Cube R-CNN은 더 큰 Omni3D 벤치마크와 기존 벤치마크에서 이전 연구보다 우수한 성능을 보임을 입증하였습니다. 마지막으로, 우리는 Omni3D가 3D 객체 인식에 강력한 데이터셋임을 증명하고, 단일 데이터셋 성능 향상뿐만 아니라 사전 학습(pre-training)을 통해 새로운 작은 데이터셋에서 학습 속도를 가속화할 수 있음을 보여줍니다.