Scan2CAD: RGB-D 스캔에서 CAD 모델 정렬 학습

우리는 Scan2CAD를 소개합니다. 이는 새로운 데이터 기반 방법으로, 형상 데이터베이스에서 얻은 깨끗한 3D CAD 모델을 상품용 RGB-D 스캔의 노이즈가 많고 불완전한 기하학적 구조에 맞추는 것을 학습합니다. 실내 장면의 3D 재구성에 대해, 우리의 방법은 CAD 모델 집합을 입력으로 받아 각 모델을 기저 스캔 기하학과 일치시키는 9자유도(9DoF) 포즈를 예측합니다. 이 문제를 해결하기 위해, 우리는 ShapeNet의 14225개 CAD 모델과 해당 스캔 내 객체 간의 97607개 주석화된 키포인트 쌍을 포함하는 1506개 ScanNet 스캔을 기반으로 하는 새로운 스캔-투-CAD 정렬 데이터셋을 생성했습니다. 우리의 방법은 3D 스캔에서 대표적인 키포인트 집합을 선택하여 이를 CAD 기하학과 일치시키는 대응점을 찾습니다. 이를 위해, 우리는 실제와 합성 객체 간의 공동 임베딩(joint embedding)을 학습하는 새로운 3D CNN 아키텍처를 설계하였으며, 이로부터 대응점 히트맵(correspondence heatmap)을 예측합니다. 이러한 대응점 히트맵을 바탕으로, 주어진 CAD 모델 집합을 재구성에 맞추기 위한 변분 에너지 최소화(variational energy minimization) 문제를 정식화하였습니다. 우리는 새로 도입된 Scan2CAD 벤치마크에서 우리 접근법이 수작업 특징 설명자(handcrafted feature descriptor) 및 최신 CNN 기반 방법보다 21.39% 우수한 성능을 보임을 평가하였습니다.