Plan2Scene: 평면도를 3D 장면으로 변환하기

우리는 주거 공간의 평면도와 관련된 사진들을 텍스처가 적용된 3D 메시 모델로 변환하는 작업, 이를 Plan2Scene이라고 부르는 작업을 다룹니다. 우리의 시스템은 1) 평면도 이미지를 3D 메시 모델로 변환하고, 2) 입력 사진을 기반으로 표면 텍스처를 합성하며, 3) 그래프 신경망 구조를 사용하여 관찰되지 않은 표면의 텍스처를 추론합니다. 시스템의 훈련과 평가를 위해 실내 표면 텍스처 데이터셋을 생성하고, 이전 연구에서 얻은 평면도와 사진 데이터셋에 정규화된 표면 자르기와 추가 주석을 더하여 확장합니다. 우리의 접근 방식은 주거 공간을 부분적으로만 덮는 소수의 미정렬 사진들로부터 바닥, 벽, 천장 등 주요 표면에 대한 타일링이 가능한 텍스처를 생성하는 문제를 처리합니다. 질적 및 양적 평가는 우리의 시스템이 현실적인 3D 실내 모델을 생성하며, 다양한 텍스처 품질 지표에서 기준 접근 방식을 능가하고 종합적인 사용자 조사에서도 우수한 성능을 보임을 입증합니다.