UniFuse: 360° 파노라마 깊이 추정을 위한 단방향 융합

구면 파노라마에서 깊이를 학습하는 것은 파노라마가 환경의 전방위 시야를 갖추고 있으며 장면을 상대적으로 완전하게 묘사할 수 있다는 점에서 점점 더 인기 있는 연구 주제가 되고 있다. 그러나 기존의 원근 이미지에 잘 연구된 CNN 모델을 표준적인 구면 파노라마 표현 방식인 등각 직사각형 투영(equirectangular projection)에 적용하는 것은 극 부근으로 갈수록 왜곡이 심해지기 때문에 최적의 방법이 아니다. 반면, 큐브맵 투영(cubemap projection)은 왜곡이 없지만 가장자리에서 불연속성이 발생하며 시야 범위가 제한적이다. 본 논문은 이러한 두 투영 방식의 특징을 융합하는 새로운 프레임워크를 제안한다. 이 프레임워크는 인코딩 단계에서는 큐브맵 특징을 등각 직사각형 특징으로 단방향으로만 전달하며, 디코딩 단계에서만 융합을 수행한다. 최근에는 인코딩 및 디코딩 단계 모두에서 양방향 융합을 수행하는 접근법이 등장했지만, 본 연구의 융합 방식은 훨씬 더 효율적이다. 또한, 본 융합 방식에 적합한 보다 효과적인 융합 모듈도 설계하였다. 실험 결과는 제안된 융합 전략과 모듈의 효과성을 입증하였으며, 네 개의 주요 데이터셋에서 최고 성능을 기록하였다. 추가 실험을 통해 본 모델이 모델 복잡도와 일반화 능력 측면에서도 우수한 성능을 보임을 확인할 수 있었다. 코드는 다음 링크에서 제공된다: https://github.com/alibaba/UniFuse-Unidirectional-Fusion.