단일 깊이 이미지로부터 의미 있는 장면 완성

본 논문은 단일 뷰 깊이 맵 관측에서 장면의 볼륨 점유와 의미 라벨의 완전한 3D 복셀 표현을 생성하는 의미 장면 완성 작업에 초점을 맞추고 있습니다. 이전 연구에서는 장면 완성과 깊이 맵의 의미 라벨링을 별도로 고려하였습니다. 그러나 우리는 이 두 문제가 밀접하게 연관되어 있다는 것을 발견하였습니다. 이러한 두 작업의 결합된 특성을 활용하기 위해, 우리는 단일 깊이 이미지를 입력으로 받아 카메라 시야각 내 모든 복셀의 점유와 의미 라벨을 동시에 출력하는 엔드투엔드 3D 컨볼루션 네트워크인 의미 장면 완성 네트워크(SSCNet)를 소개합니다. 우리의 네트워크는 수용 영역을 효율적으로 확장하고 3D 컨텍스트 학습을 가능하게 하는 딜레이션 기반 3D 컨텍스트 모듈을 사용합니다. 네트워크를 훈련시키기 위해, 우리는 밀집된 볼륨 주석이 있는 합성 3D 장면의 대규모 수작업 데이터셋인 SUNCG를 구축하였습니다. 실험 결과, 결합 모델은 각 작업을 개별적으로 처리하는 방법보다 우수하며, 의미 장면 완성 작업에서 대안적인 접근 방식보다도 더 좋은 성능을 보임을 입증하였습니다.