2D 세그멘테이션 사전을 활용한 데이터 증강 3D 세밀한 장면 완성

시맨틱 장면 완성(Semantic Scene Completion, SSC)은 로봇공학에서 보조 컴퓨팅에 이르기까지 다양한 실용적 응용이 가능한 도전적인 컴퓨터 비전 과제이다. 이 작업의 목표는 장면의 시야 내 3차원 기하 구조와 복셀(Voxel)의 시맨틱 레이블, 특히 가려진 영역까지 포함하여 추론하는 것이다. 본 연구에서는 RGB-D 이미지의 깊이 정보로부터 얻은 구조적 데이터와 이중 모달 2차원 세그멘테이션 네트워크로부터 도출된 시맨틱 사전 지식을 원활하게 융합하는 새로운 경량 다모달 3차원 깊은 신경망인 SPAwN을 제안한다. 이 분야에서 중요한 과제 중 하나는 현재 데이터 집약적인 3차원 깊은 신경망을 훈련시키기에 충분히 크고 완전히 레이블링된 실세계 3차원 데이터셋이 부족하다는 점이다. 2차원 컴퓨터 비전 작업에서는 CNN의 일반화 능력을 향상시키기 위해 다양한 데이터 증강 기법이 제안되어 왔다. 그러나 이러한 접근 방식은 SSC 솔루션의 RGB-D 입력 및 출력 볼륨에 직접 적용될 수 없다. 본 논문에서는 다모달 SSC 네트워크에 적용 가능한 3차원 데이터 증강 기법을 도입한다. 제안한 방법의 유효성을 포괄적이고 재현 가능한 아블레이션(Ablation) 연구를 통해 검증하였으며, 유사한 복잡도를 갖는 기존 작업들을 일관되게 상회하는 성능을 보였다.