모든 복셀이 동일한 것은 아니다: 포인트-복셀 관점에서의 의미론적 장면 완성

본 논문에서는 3차원 장면의 의미론적 및 점유 표현을 예측하는 데 유용한 작업인 의미론적 장면 완성(Semantic Scene Completion, SSC)을 다시 조명한다. 이 작업을 위한 많은 기법들은 국소적 장면 구조를 유지하기 위해 복셀화된 장면 표현을 기반으로 하고 있다. 그러나 가시적 빈 복셀(Visible empty voxels)의 존재로 인해, 네트워크가 깊어질수록 계산 부담이 크게 증가하는 문제점이 발생하며, 이로 인해 장면 완성 품질이 제한된다. 이러한 딜레마를 해결하기 위해, 본 논문에서는 새로운 포인트-복셀 집계 네트워크(Point-voxel aggregation network)를 제안한다. 먼저, 가시적 빈 복셀을 제거함으로써 복셀화된 장면을 포인트 클라우드로 변환하고, 깊이 있는 포인트 스트림을 통해 장면의 의미 정보를 효율적으로 추출한다. 동시에, 두 개의 3차원 합성곱 층만을 포함하는 가벼운 복셀 스트림을 통해 복셀화된 장면의 국소 구조를 유지한다. 더불어, 복셀 스트림에서의 구조적 세부 정보를 포인트 스트림에 융합하기 위한 이방성 복셀 집계 연산자(Anisotropic voxel aggregation operator)와, 의미 레이블을 기반으로 포인트 스트림의 업샘플링 과정을 강화하는 의미 인지형 전파 모듈(Semantic-aware propagation module)을 설계하였다. 제안한 모델이 깊이 이미지(only depth images)만을 입력으로 사용함에도 불구하고, 두 개의 벤치마크에서 기존 최고 성능(SOTA) 기법들을 크게 상회함을 실험을 통해 입증하였다.