ForkNet: 단일 깊이 이미지에서 다중 분기 볼륨 세マン틱 완성

우리는 단일 깊이 이미지에서 3D 의미 완성을 위한 새로운 모델을 제안합니다. 이 모델은 단일 인코더와 원본 및 완성된 장면의 다양한 기하학적 및 의미적 표현을 재구성하는 세 개의 별도 생성기로 구성되며, 모든 생성기는 동일한 잠재 공간을 공유합니다. 네트워크의 기하학적 및 의미적 분기를 연결하기 위해, 우리는 해당 네트워크 레이어에서 특징을 연결하는 경로를 도입하였습니다. 실제 장면에서 얻은 훈련 샘플의 한정된 수량에 착안하여, 우리 아키텍처의 흥미로운 속성 중 하나는 고품질의 현실적인 장면을 생성하여 기존 데이터셋을 보완할 수 있는 능력입니다. 이는 가림 현상(occlusion)과 실제 노이즈까지 포함합니다. 우리는 잠재 공간에서 특징을 직접 샘플링하여 부분적인 부피 표면과 완성된 부피 의미 표면 쌍을 생성함으로써 새로운 데이터셋을 구축하였습니다. 또한, 여러 판별자를 활용하여 재구성의 정확도와 현실감을 높였습니다. 우리는 두 가지 가장 일반적인 완성 작업인 의미 3D 장면 완성과 3D 객체 완성에 대한 표준 벤치마크에서 우리의 접근 방식의 이점을 입증하였습니다.