초록
우리는 단일 깊이 이미지에서 볼륨 3D 장면의 점유 상태와 의미 라벨을 추론하기 위한 뷰-볼륨 컨벌루션 신경망 (VVNet)을 소개합니다. VVNet은 2D 뷰 CNN과 3D 볼륨 CNN을 미분 가능한 투영층으로 연결합니다. 단일 RGBD 이미지가 주어지면, 우리의 방법은 입력 깊이 이미지에서 상세한 기하학적 특징을 2D 뷰 CNN을 통해 추출하고, 그 다음에 투영층을 통해 입력된 깊이 맵에 따라 특징들을 3D 볼륨으로 투영합니다. 이를 통해, 우리는 3D 볼륨 CNN을 사용하여 장면의 3D 문맥 정보를 학습하여 결과적인 볼륨 점유 상태와 의미 라벨을 계산합니다. 결합된 2D 및 3D 표현 덕분에, VVNet은 계산 비용을 효율적으로 줄이고, 다중 채널 고해상도 입력에서 특징 추출을 가능하게 하며, 이로 인해 결과 정확도가 크게 향상됩니다. 우리는 우리의 방법의 유효성과 효과성을 합성 SUNCG 데이터셋과 실제 NYU 데이터셋에서 검증하고 시연하였습니다.