Total3DUnderstanding: 단일 이미지에서 실내 환경의 공동 레이아웃, 객체 포즈 및 메시 재구성

실내 환경의 의미론적 재구성은 장면 이해와 객체 재구성의 두 가지 측면을 모두 포함한다. 기존의 연구들은 이 문제의 일부만 다루거나 독립된 객체에 집중하고 있다. 본 논문에서는 이해와 재구성 사이의 격차를 메우고, 단일 이미지로부터 실내 레이아웃, 객체 경계 상자, 그리고 메시를 동시에 재구성할 수 있는 엔드 투 엔드 솔루션을 제안한다. 장면 이해와 객체 재구성을 별도로 해결하는 기존 방식과 달리, 본 방법은 종합적인 장면 맥락을 기반으로 하며, 세 가지 구성 요소로 이루어진 계층적 접근(거시적에서 미시적 순서)을 제안한다. 즉, 1) 카메라 자세를 포함한 실내 레이아웃, 2) 3D 객체 경계 상자, 3) 객체 메시이다. 우리는 각 구성 요소의 맥락을 이해하는 것이 다른 요소를 해석하는 데 도움이 된다고 주장하며, 이를 통해 공동의 이해와 재구성을 가능하게 한다. SUN RGB-D 및 Pix3D 데이터셋에서 수행한 실험 결과, 본 방법은 실내 레이아웃 추정, 3D 객체 탐지, 메시 재구성 측면에서 기존 방법들을 일관되게 상회함을 입증하였다.