SDC-Depth: 단안 깊이 추정을 위한 의미적 Divide-and-Conquer 네트워크

단안 깊이 추정은 정의되지 않은 문제이며, 따라서 장면 사전 지식과 의미 정보에 크게 의존한다. 이 문제의 복잡성으로 인해, 의미적 분할 및 해결 방식을 기반으로 한 딥 신경망 모델을 제안한다. 본 모델은 장면을 객체 인스턴스 및 배경 스태프 클래스와 같은 의미적 세그먼트로 분해하고, 각 의미적 세그먼트에 대해 표준 공간에서 스케일 및 시프트에 불변적인 깊이 맵을 예측한다. 동일한 카테고리에 속하는 의미적 세그먼트는 동일한 깊이 디코더를 공유하므로, 전역적인 깊이 예측 작업이 각 카테고리에 특화된 보다 단순한 작업들로 분해되며, 이는 학습이 용이하고 새로운 장면 유형으로의 일반화가 쉬워진다. 마지막으로, 이미지의 전역적 맥락을 기반으로 각 로컬 깊이 세그먼트의 스케일과 시프트를 예측하여 세그먼트들을 연결한다. 본 모델은 패노픽 세그멘테이션과 깊이 예측을 위한 다중 작업 손실을 사용하여 엔드 투 엔드로 학습되며, 이로 인해 대규모 패노픽 세그멘테이션 데이터셋을 활용하여 의미적 이해 능력을 향상시킬 수 있다. 제안한 방법의 유효성을 검증하고, 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 보여준다.