3D 게이트형 순환 융합을 통한 의미론적 장면 완성

이 논문은 의미론적 장면 완성(semantic scene completion, SSC) 작업에서의 데이터 융합 문제를 다룬다. SSC는 의미 분류와 장면 완성 작업을 동시에 수행할 수 있는 기능을 갖는다. RGB 이미지는 객체의 질감 정보를 포함하며, 이는 의미론적 장면 이해에 있어 핵심적인 역할을 한다. 한편, 깊이 이미지는 형태 완성에 매우 관련성이 높은 기하학적 정보를 포착한다. RGB와 깊이 이미지 양쪽을 함께 사용하면, 단일 모달리티를 독립적으로 사용하는 경우보다 SSC의 정확도를 더욱 향상시킬 수 있다. 본 연구에서는 게이트(Gate) 및 메모리 모듈을 활용하여 깊이 이미지와 RGB 이미지에서 관련 정보를 적응적으로 선택하고 융합할 수 있도록 학습하는 3D 게이트 리커런트 융합 네트워크(GRFNet)를 제안한다. 단일 단계 융합 기반으로, 네트워크 내부의 다양한 단계 간 상관관계를 모델링할 수 있는 다단계 융합 전략도 제안한다. 두 개의 벤치마크 데이터셋에서 실시한 광범위한 실험을 통해 제안한 GRFNet이 SSC 작업에서의 데이터 융합에 있어 우수한 성능과 효과성을 입증하였다. 코드는 공개될 예정이다.