3D 바운딩 박스 추정을 위한 딥 러닝과 기하학의 활용

우리는 단일 이미지에서 3D 객체 검출 및 자세 추정을 위한 방법을 제시합니다. 현재 기술들이 객체의 3D 방향만 회귀하는 것과 달리, 우리의 방법은 먼저 깊은 합성곱 신경망을 사용하여 상대적으로 안정적인 3D 객체 속성을 회귀하고, 그 다음에 2D 객체 경계 상자에서 제공되는 기하학적 제약 조건과 이 추정치들을 결합하여 완전한 3D 경계 상자를 생성합니다. 첫 번째 네트워크 출력은 새로운 혼합 이산-연속 손실(discrete-continuous loss)을 사용하여 3D 객체 방향을 추정하며, 이는 L2 손실보다 크게 우수한 성능을 보입니다. 두 번째 출력은 대안들에 비해 변동성이 적은 3D 객체 차원을 회귀하며, 많은 객체 유형에 대해 예측할 수 있습니다. 이러한 추정치와 2D 경계 상자가 부과하는 이동에 대한 기하학적 제약 조건을 결합하면 안정적이고 정확한 3D 객체 자세를 복원할 수 있습니다. 우리는 도전적인 KITTI 객체 검출 벤치마크에서 공식 메트릭인 3D 방향 추정 및 얻어진 3D 경계 상자의 정확도 측면에서 우리의 방법을 평가했습니다. 개념적으로 간단하지만, 우리의 방법은 의미론적 분할, 인스턴스 레벨 분할, 평평한 지면 사전 정보(flat ground priors), 하위 카테고리 검출 등을 활용하는 더 복잡하고 계산적으로 비용이 많이 드는 접근법보다 우수한 성능을 보입니다. 또한, 우리의 이산-연속 손실은 Pascal 3D+ 데이터셋에서 3D 시점 추정(viewpoint estimation)에 있어 최신 연구 결과(state of the art results)를 생성합니다.