OccDepth: 3D 세밀한 장면 완성 위한 깊이 인지 방법

3D 세멘틱 스캔 완성(3D Semantic Scene Completion, SSC)은 밀도 높은 기하학적 및 세멘틱 장면 표현을 제공할 수 있으며, 자율 주행 및 로봇 시스템 분야에 응용될 수 있다. 시각 이미지만을 이용하여 장면의 완전한 기하학적 구조와 세멘틱 정보를 추정하는 것은 여전히 도전적인 과제이며, 정확한 깊이 정보는 3D 기하 구조 복원에 있어 핵심적인 역할을 한다. 본 논문에서는 스테레오 이미지(또는 RGBD 이미지)에서 암묵적으로 포함된 깊이 정보를 최대한 활용하여 3D 기하 구조 복원을 지원하는 최초의 스테레오 기반 SSC 방법인 OccDepth를 제안한다. 제안된 스테레오 소프트 특징 할당(Stereo Soft Feature Assignment, Stereo-SFA) 모듈은 스테레오 이미지 간의 상관관계를 암묵적으로 학습함으로써 3D 깊이 인식 특징을 보다 효과적으로 융합한다. 특히 입력이 RGBD 이미지인 경우, 원본 RGB 이미지와 깊이 맵을 활용하여 가상의 스테레오 이미지를 생성할 수 있다. 또한, 사전 학습된 깊이 모델을 이용한 지식 전이 기법을 활용하여 기하학적 인식 능력을 갖춘 3D 특징을 추출하는 오브젝트 인식 깊이(Occupancy Aware Depth, OAD) 모듈을 도입하였다. 더불어, 본 연구에서 제안된 OccDepth 방법의 SSC 작업에 대한 보다 철저한 평가를 위해 개선된 TartanAir 벤치마크인 SemanticTartanAir를 제공한다. SemanticKITTI 데이터셋에서 최신 기술 기반의 RGB 기반 SSC 방법과 비교하여 광범위한 실험 결과를 통해, 본 OccDepth 방법은 mIoU 기준 +4.82%의 성능 향상을 달성하였으며, 이 중 +2.49%는 스테레오 이미지의 활용에서 기인하고, +2.33%는 본 논문에서 제안한 깊이 인식 기법에서 비롯된 것이다. 본 연구의 코드 및 학습된 모델은 https://github.com/megvii-research/OccDepth 에서 공개되어 있다.