비국소 밀집 예측 트랜스포머 및 공동 지도 및 자기지도 학습을 통한 360도 단안 깊이 추정 향상

등방형(360도) 이미지의 지표 깊이(true depth)를 확보하는 데 어려움이 있어 현재 등방형 깊이 데이터의 품질과 양은 세계의 다양한 장면을 충분히 표현하기에 부족한 실정이다. 따라서 단순히 감독 학습에 의존한 360도 깊이 추정 연구들은 만족스럽지 못한 결과를 초래할 수밖에 없다. 비록 등방형 이미지(EIs)에 초점을 맞춘 자기지도 학습 방법들이 제안되었지만, 이러한 방법들은 종종 부정확하거나 유일하지 않은 해를 도출하여 성능이 불안정한 경향이 있다. 본 논문에서는 이전 연구의 한계를 보완하는 360도 단안 깊이 추정 방법을 제안한다. 첫째, 중력 방향으로 정렬된 영상만을 사용하는 자기지도 학습 기반의 360도 깊이 학습 방법을 도입하여, 학습 과정에서 깊이 데이터의 필요성을 근본적으로 줄일 수 있는 가능성을 제시한다. 둘째, 감독 학습과 자기지도 학습을 결합한 공동 학습 방식을 제안함으로써 각 학습 방식의 약점을 상쇄하고, 더 정확한 깊이 추정을 가능하게 한다. 셋째, 시각 트랜스포머가 인코딩한 전역 정보를 보다 효과적으로 유지할 수 있도록 비국소적 융합 블록을 제안한다. 제안된 방법들을 통해, 우리 연구팀은 트랜스포머를 360도 깊이 추정에 성공적으로 적용한 것으로, 최소한 기존의 사례를 고려할 때는 전례가 없는 시도이다. 다양한 벤치마크에서 제안한 방법은 기존 기법들에 비해 상당한 성능 향상을 보이며, 최신 기술 수준(state-of-the-art)을 확립하였다.