Pix3D: 단일 이미지 3D 형태 모델링을 위한 데이터셋 및 방법론

우리는 단일 이미지로부터 3D 형태 모델링을 연구하며 이에 세 가지 측면에서 기여하고 있습니다. 첫째, 픽셀 수준의 2D-3D 정렬을 가진 다양한 이미지-형태 쌍을 포함하는 대규모 벤치마크인 Pix3D를 제시합니다. Pix3D는 재구성, 검색, 시점 추정 등 형태 관련 작업에 널리 적용될 수 있습니다. 그러나 이러한 대규모 데이터셋을 구축하는 것은 매우 어려운 과제입니다; 기존 데이터셋은 합성 데이터만 포함하거나, 2D 이미지와 3D 형태 간의 정확한 정렬이 부족하거나, 이미지 수가 적은 경우가 대부분입니다. 둘째, 행동 연구를 통해 3D 형태 재구성의 평가 기준을 교정하고 이를 사용하여 Pix3D에서 최첨단 재구성 알고리즘을 객관적이고 체계적으로 벤치마킹합니다. 셋째, 3D 재구성과 자세 추정을 동시에 수행하는 새로운 모델을 설계하였습니다; 우리의 다중 작업 학습 접근 방식은 두 작업 모두에서 최고 수준의 성능을 달성하였습니다.