다중모달 스케일 일관성 및 인지 기반 단안 자기지도(depth) 추정

자율주행을 위한 장면 이해에 있어 밀도 높은 깊이 추정은 필수적이다. 그러나 최근의 단일 카메라 영상에 대한 자기 지도 학습 방식은 긴 시퀀스에 걸쳐 스케일 일관성 문제가 발생한다. 보편적으로 탑재된 글로벌 포지셔닝 시스템(GPS)의 데이터를 활용하여, 외관 기반 손실을 보완하기 위해 동적 가중치를 적용한 GPS-스케일(GPS-to-Scale, g2s) 손실을 제안한다. 본 연구에서는 GPS 데이터가 다중 모달 학습 시에만 필요하며, 추론 과정에서는 필요하지 않다는 점을 강조한다. GPS를 통해 캡처한 프레임 간 상대 거리는 카메라 설정이나 장면 분포와 무관한 스케일 신호를 제공함으로써, 보다 풍부한 특징 표현을 학습할 수 있게 된다. 다양한 데이터셋에서 실시한 광범위한 평가를 통해, 추론 과정에서도 스케일 일관성과 스케일 인식이 유지됨을 입증하였으며, 저주파 GPS 데이터로 학습하더라도 성능이 향상됨을 확인하였다.