CubifAE-3D: 단일 카메라 공간 입방체화를 위한 오토인코더 기반 3D 객체 검출

단일 모노클라 이미지를 사용한 3D 객체 검출 방법을 소개합니다. 시뮬레이션 데이터셋에서 시작하여, RGB-to-Depth 오토인코더(AE)를 사전 학습합니다. 이 AE에서 학습된 임베딩은 이후에 RGB 이미지로부터 잠재 임베딩을 생성한 후 3D 객체 포즈의 매개변수를 회귀하는 데 사용되는 3D 객체 검출기(3DOD) CNN을 훈련시키는 데 활용됩니다. 우리는 시뮬레이션 데이터에서 쌍으로 제공되는 RGB와 깊이(depth) 이미지를 사용하여 AE를 한 번 사전 학습할 수 있으며, 그 다음에는 실제 데이터, 즉 RGB 이미지와 3D 객체 포즈 라벨만을 사용하여 3DOD 네트워크를 훈련시킬 수 있음을 보여줍니다(밀도 있는 깊이 정보가 필요하지 않음). 우리의 3DOD 네트워크는 카메라 주변의 3D 공간을 `큐비피케이션'(cubification)하여, 각 큐비드(cuboid)가 N 개의 객체 포즈와 그 클래스 및 신뢰도 값을 예측하도록 설계되었습니다. AE의 사전 학습과 카메라 주변의 3D 공간을 큐비드로 나누는 이 방법은 우리 방법에 이름인 CubifAE-3D를 부여하였습니다. 우리는 Virtual KITTI 2와 KITTI 데이터셋을 사용하여 자율주행 차량(AV) 용례에서 단일 모노클라 이미지를 이용한 3D 객체 검출 결과를 제시합니다.