단안 360도 깊이 추정을 위한 신경망 컨투어릿 네트워크

단안형 360도 이미지의 경우, 위도 방향으로 왜곡이 증가함에 따라 깊이 추정이 어려운 과제가 된다. 기존의 방법들은 이러한 왜곡을 인지하기 위해 깊고 복잡한 네트워크 아키텍처를 설계하는 데 주력해왔다. 본 논문에서는 360도 이미지에 대해 해석 가능하고 희소한 표현을 구성하는 새로운 관점을 제안한다. 깊이 추정에서 기하학적 구조의 중요성을 고려하여, 스펙트럼 도메인에서 명시적인 기하학적 신호를 포착하기 위해 컨투어릿 변환(Contourlet Transform)을 활용하고, 공간 도메인의 암묵적 신호와 이를 통합한다. 구체적으로, 합성곱 신경망(Convolutional Neural Network)과 컨투어릿 변환 브랜치로 구성된 신경 컨투어릿 네트워크(Neural Contourlet Network)를 제안한다. 인코더 단계에서는 두 가지 유형의 신호를 효과적으로 융합하기 위해 공간-스펙트럼 융합 모듈을 설계하였다. 인코더와는 달리, 디코더에서는 학습된 저역통과 하위대역과 밴드통과 방향성 하위대역을 활용한 역 컨투어릿 변환을 적용하여 깊이를 구성한다. 세 가지 주요 파노라마 이미지 데이터셋에 대한 실험 결과, 제안하는 방법이 최신 기술 대비 더 빠른 수렴 속도와 함께 우수한 성능을 보였다. 코드는 https://github.com/zhijieshen-bjtu/Neural-Contourlet-Network-for-MODE에서 공개되어 있다.