2D 세미antic-가이드드 세미틱 장면 완성

세마틱 장면 완성(Semantic Scene Completion, SSC)은 단일한 깊이 이미지 및/또는 RGB 이미지로부터 3D 장면의 구조를 복원하고 동시에 장면 내 객체의 세마틱 카테고리를 예측하는 것을 목표로 한다. 기존의 대부분의 SSC 방법들은 서로 가까이 위치한 다수의 객체가 존재하는 복잡한 영역, 특히 반사성 또는 어두운 표면을 가진 객체를 처리하는 데 어려움을 겪는다. 이는 주로 두 가지 도전 과제에서 기인한다: (1) 센서로부터 얻은 깊이 값의 신뢰성이 낮아 인식된 깊이 정보의 손실, (2) 3D 형태와 세마틱 레이블을 동시에 예측할 때 발생할 수 있는 세마틱 혼동. 이러한 문제를 해결하기 위해, 본 연구에서는 세마틱 유도 세마틱 장면 완성(Semantic-guided Semantic Scene Completion, SG-SSC) 프레임워크를 제안한다. 이 프레임워크는 세마틱 유도 융합(Semantic-guided Fusion, SGF)과 볼륨 유도 세마틱 예측기(Volume-guided Semantic Predictor, VGSP)로 구성된다. 2D 세마틱 세그멘테이션 맵을 기반으로 하여 SGF는 RGB와 깊이 특징을 적응적으로 융합함으로써 깊이 이미지 내 누락된 값으로 인해 발생하는 기하학적 정보의 손실을 보완하며, 신뢰도가 낮은 깊이 정보에 대해 더욱 강건한 성능을 발휘한다. 반면 VGSP는 장면 완성(SC)과 SSC 간의 상호 보완적 관계를 활용하여, SSC가 점유 확률이 높은 복셀의 카테고리를 보다 정확하게 예측하도록 유도하고, 동시에 SC는 세마틱 사전 지식을 활용하여 복셀 점유 여부를 보다 정교하게 예측할 수 있도록 한다. 실험 결과, SG-SSC는 NYU, NYUCAD, SemanticKITTI 데이터셋에서 기존 최고 수준의 방법들을 모두 상회하는 성능을 보였다. 모델 및 코드는 https://github.com/aipixel/SG-SSC 에 공개되어 있다.