초록
MonoScene은 단일 모노클로라(RGB) 이미지에서 장면의 밀도 있는 기하학적 구조와 의미를 추론하는 3D 의미장면완성(SSC) 프레임워크를 제안합니다. 기존 SSC 문헌이 2.5D 또는 3D 입력에 의존하는 것과 달리, 우리는 2D에서 3D 장면 재구성을 해결하면서 동시에 그 의미를 추론하는 복잡한 문제를 다룹니다. 우리의 프레임워크는 광학에서 영감을 받은 새로운 2D-3D 특징 투영 방법을 통해 연결된 연속적인 2D 및 3D U-Net에 기반하며, 공간-의미 일관성을 강제하기 위해 3D 컨텍스트 관계 사전을 도입합니다. 설계적 기여와 함께, 우리는 새로운 전역 장면 손실 함수와 지역 프루스트럼 손실 함수를 소개합니다. 실험 결과, 모든 메트릭과 데이터셋에서 기존 문헌을 능가하며, 카메라 시야각 외부까지 가능한 장면을 환상적으로 생성할 수 있음을 보여줍니다. 우리의 코드와 학습된 모델은 https://github.com/cv-rits/MonoScene에서 이용 가능합니다.