StructDepth: 자기지도 내부 깊이 추정을 위한 구조적 규칙성 활용

자기지도형 단안 깊이 추정은 실외 데이터셋에서 놀라운 성능을 달성해왔다. 그러나 실내 환경에서는 텍스처가 부족하기 때문에 성능이 현저히 저하된다. 풍부한 텍스처가 없으면 광학 일관성(photometric consistency)이 너무 약해 우수한 깊이 네트워크를 학습하기 어렵다. 실내 모델링에 대한 초기 연구들에 영감을 받아, 실내 장면에서 나타나는 구조적 규칙성(structural regularities)을 활용하여 더 나은 깊이 네트워크를 학습하고자 한다. 구체적으로, 자기지도 학습을 위해 두 가지 추가적인 감독 신호를 도입한다: 1) 맨하탄 법선 제약(Manhattan normal constraint), 2) 동평면 제약(co-planar constraint). 맨하탄 법선 제약은 주요 표면(바닥, 천장, 벽)이 주된 방향과 일치하도록 강제한다. 동평면 제약은 동일한 평면 영역 내에 위치한 3D 점들이 한 평면에 잘 적합되어야 한다는 조건을 제시한다. 이러한 감독 신호를 생성하기 위해, 훈련 중 실시간으로 주요 표면 법선을 주요 방향으로 분류하고 평면 영역을 탐지하는 두 가지 구성 요소를 도입한다. 예측된 깊이가 훈련 에포크가 증가함에 따라 점점 더 정확해짐에 따라, 감독 신호도 개선되고, 이는 다시 더 나은 깊이 모델을 얻는 데 긍정적인 피드백을 제공한다. 실내 벤치마크 데이터셋에서 실시한 광범위한 실험 결과, 제안하는 네트워크가 최신 기술(SOTA) 방법들을 모두 상회함을 확인하였다. 소스 코드는 다음 주소에서 공개된다: https://github.com/SJTU-ViSYS/StructDepth.