OmniFusion: 기하학 인지 융합을 통한 360도 단일 카메라 깊이 추정

오미디렉셔널 이미지에 딥러닝 기법을 적용하는 데 있어 널리 알려진 과제는 구면 왜곡(spherical distortion)이다. 깊이 추정과 같은 밀도 높은 회귀 과제에서는 구조적 세부 정보가 요구되는데, 왜곡된 360도 이미지에 일반적인 CNN 레이어를 적용하면 원하지 않는 정보 손실이 발생한다. 본 논문에서는 구면 왜곡 문제를 해결하기 위해 360도 단안 깊이 추정 파이프라인인 OmniFusion을 제안한다. 제안하는 파이프라인은 360도 이미지를 덜 왜곡된 시점 패치(즉, 탄젠트 이미지)로 변환하여 CNN을 통해 패치별 예측을 수행한 후, 패치별 결과를 통합하여 최종 출력을 생성한다. 패치별 예측 간의 불일치는 통합 품질에 영향을 주는 주요 문제이므로, 다음과 같은 핵심 구성 요소를 포함하는 새로운 프레임워크를 제안한다. 첫째, 3D 기하학적 특징과 2D 이미지 특징을 결합하여 패치별 불일치를 보완하는 기하학적 인지 특징 융합 메커니즘을 제안한다. 둘째, 패치별 정보를 전역적으로 통합하기 위해 자기 주의(self-attention) 기반의 트랜스포머 아키텍처를 도입하여 일관성을 더욱 향상시킨다. 셋째, 더 정확한 기하학적 특징을 기반으로 추정된 깊이를 추가로 정밀화하기 위해 반복적 깊이 보정 메커니즘을 도입한다. 실험 결과, 제안한 방법은 왜곡 문제를 크게 완화하며, 여러 360도 단안 깊이 추정 기준 데이터셋에서 최신 기술 수준의 성능을 달성함을 입증하였다.