단일 이미지에서 3D 장면 형태를 복원하는 방법 학습

단일 시점 깊이 추정 분야에서 상당한 진전이 이루어졌음에도 불구하고, 최근 최신 방법들은 미지의 깊이 이동을 유발하는 혼합 데이터 깊이 예측 훈련에서 사용되는 이동 불변 재구성 손실과, 가능한 미지의 카메라 초점 거리(focal length) 때문에 정확한 3D 장면 형태를 복원할 수 없습니다. 우리는 이 문제를 자세히 연구하고, 먼저 단일 단안 이미지로부터 미지의 스케일과 이동까지 깊이를 예측한 후, 3D 포인트 클라우드 인코더를 사용하여 실제 3D 장면 형태를 복원하기 위해 필요한 미지의 깊이 이동과 초점 거리를 예측하는 두 단계 프레임워크를 제안합니다. 또한, 혼합 데이터셋에서 훈련된 깊이 예측 모델을 개선하기 위해 이미지 레벨 정규화 회귀 손실(normalized regression loss)과 법선 기반 기하학적 손실(normal-based geometry loss)을 제안합니다. 우리는 우리의 깊이 모델을 아홉 개의 미확인 데이터셋에서 테스트하였으며, 제로샷(zero-shot) 데이터셋 일반화에서 최상의 성능을 달성하였습니다. 코드는 다음 주소에서 확인 가능합니다: https://git.io/Depth