초록
이 논문은 실내 환경에서의 비지도 깊이 추정 작업을 다룬다. 이 작업은 이러한 장면에 존재하는 광범위한 무문자 영역으로 인해 매우 도전적인 과제이다. 이러한 영역들은 일반적으로 외부 환경을 대상으로 제안된 비지도 깊이 추정 프레임워크에서 최적화 과정을 지배하게 된다. 그러나 이러한 영역을 마스킹한 후에도 성능은 여전히 만족스럽지 못하다. 본 논문에서는 저성능이 비구분적인 점 기반 매칭에 기인한다고 주장한다. 이를 해결하기 위해 P$^2$Net을 제안한다. 먼저 국소적 기울기가 큰 점들을 추출하고, 각 점 중심에 위치한 패치를 그 점의 표현으로 사용한다. 이후 패치 기반으로 다중 시점 일관성 손실을 정의함으로써, 네트워크 학습의 강건성을 크게 향상시킨다. 더불어 실내 환경에서 흔히 발견되는 무문자 영역(예: 벽, 바닥, 천장 등)은 일반적으로 평면 영역과 대응하므로, 슈퍼픽셀(superpixel)을 평면 사전 지식으로 활용하는 방안을 제안한다. 각 슈퍼픽셀 내에서 예측된 깊이가 평면에 잘 적합되도록 제약을 적용한다. NYUv2와 ScanNet에서 실시한 광범위한 실험 결과, 본 논문에서 제안한 P$^2$Net은 기존 방법들에 비해 크게 우수한 성능을 보였다. 코드는 \url{https://github.com/svip-lab/Indoor-SfMLearner}에서 공개되어 있다.