3D-R2N2: 단일 및 다중 뷰 3D 객체 재구성에 대한 통합적 접근 방식

최근 형상 사전 정보를 활용하여 견고한 3D 재구성을 달성하는 방법들의 성공에 영감을 받아, 우리는 3D Recurrent Reconstruction Neural Network (3D-R2N2)라고 이름 붙인 새로운 순환 신경망 구조를 제안합니다. 이 네트워크는 대규모 합성 데이터 집합에서 객체의 이미지를 해당 객체의 내재적인 3D 형상으로 매핑하는 방법을 학습합니다. 우리의 네트워크는 임의의 시점에서 촬영된 하나 또는 여러 개의 객체 인스턴스 이미지를 입력으로 받아, 객체의 3D 점유 그리드 형태로 재구성을 출력합니다. 대부분의 이전 연구들과 달리, 우리의 네트워크는 훈련이나 테스트 과정에서 어떠한 이미지 주석이나 객체 클래스 라벨도 필요하지 않습니다. 광범위한 실험 분석을 통해 우리의 재구성 프레임워크가 i) 단일 시점 재구성에 있어 최신 기술보다 우수한 성능을 보이며, ii) 전통적인 SFM/SLAM 방법이 실패하는 상황(텍스처 부족 및/또는 광범위한 베이스라인 때문에)에서도 객체의 3D 재구성이 가능함을 입증하였습니다.