3D 스케치 인식 의미 장면 완성: 반감독 구조 사전 정보를 활용한 방법

Semantic Scene Completion (SSC) 작업의 목표는 단일 시점 관찰에서 장면 내 객체의 볼륨 점유와 의미 라벨을 동시에 예측하는 완성된 3D 보케스 표현을 생성하는 것입니다. 보케스 해상도가 증가함에 따라 계산 비용이 일반적으로 폭발적으로 증가하기 때문에, 대부분의 최신 기술들은 세부 예측을 희생하면서 저해상도 표현으로 프레임워크를 조정해야 합니다. 따라서, 보케스 해상도는 성능 한계를 초래하는 중요한 난관 중 하나가 되었습니다.본 논문에서는 저해상도 보케스 표현과 깊이 정보를 결합하기 위한 새로운 기하학적 전략을 제안합니다. 이 방법은 방 구조, 객체의 크기와 모양 등의 충분한 기하학적 정보를 여전히 인코딩하여, 장면의 보이지 않는 영역을 구조를 잘 유지한 세부 사항으로 추론할 수 있습니다. 이를 위해 먼저, 기하학적 정보를 효과적이고 효율적으로 명시적으로 인코딩하는 새로운 3D 스케치 인식 피처 임베딩을 제안합니다. 3D 스케치를 활용하여, 우리는 가벼운 3D 스케치 환각 모듈을 통합한 간단하면서도 효과적인 의미 장면 완성 프레임워크를 설계하였습니다. 이 모듈은 반감독 구조 사전 학습 전략을 통해 점유와 의미 라벨의 추론을 안내합니다. 실험 결과, 제안된 기하학적 임베딩이 일반적인 SSC 프레임워크에서 사용되는 깊이 특징 학습보다 더 우수하게 작동함을 확인하였습니다. 최종 모델은 입력과 출력 모두 60 x 36 x 60 해상도의 3D 볼륨만 필요로 하면서 세 개의 공개 벤치마크에서 일관되게 최신 기술들을 능가하였습니다. 코드와 부록 자료는 https://charlesCXK.github.io에서 제공될 예정입니다.