BiFuse++: 360도 깊이 추정을 위한 자기지도 학습 및 효율적인 이중 투영 병합

구면 카메라의 등장으로 인해 단안 360도 깊이 추정 기술은 자율 시스템 등 다양한 응용 분야에서 중요한 역할을 하고 있다. 이에 따라 BiFuse에서 제안한 이중 투영 병합(bi-projection fusion)과 같은 최신 기법들이 등장하였다. 이러한 프레임워크를 학습시키기 위해서는 레이저 센서를 이용해 촬영한 광각 영상과 해당되는 깊이 지정값(ground truth)이 대량으로 필요하며, 이는 데이터 수집 비용을 크게 증가시킨다. 게다가 이러한 데이터 수집 과정이 시간이 오래 걸리기 때문에, 다양한 장면으로 이러한 기법을 확장하는 데 있어 확장성 문제가 발생한다. 이를 해결하기 위해, 360도 영상에서 단안 깊이 추정을 위한 자기학습(self-training) 기법을 도입하는 것이 하나의 해결책이 될 수 있다. 그러나 기존에는 이중 투영 병합 기법을 자기학습 체계에 통합한 프레임워크가 존재하지 않아, 이중 투영 병합이 서로 다른 투영 방식의 정보를 효과적으로 활용할 수 있음에도 불구하고 자기지도 학습 성능이 제한적으로 유지되고 있다. 본 논문에서는 이중 투영 병합과 자기학습 환경의 결합을 탐색하기 위해 BiFuse++을 제안한다. 구체적으로, 성능 향상을 위해 새로운 병합 모듈과 자기학습의 안정성을 높이기 위한 대조 인식형 광학적 손실(Contrast-Aware Photometric Loss)을 제안한다. 제안한 방법은 기준 데이터셋에서 지도학습 및 자기지도 학습 실험을 수행하여 최신 기술 대비 우수한 성능을 달성하였다.