단안 깊이 추정을 위한 구조 주의 메모리 네트워크

단안 깊이 추정은 주어진 단일 RGB 이미지에서 해당하는 깊이 맵을 예측하는 데 목적이 있는 도전적인 과제이다. 최근의 딥러닝 모델들은 RGB 이미지와 깊이 도메인 간의 깊은 특징의 정렬을 학습함으로써 이미지로부터 깊이를 예측하는 방식이 제안되어 왔다. 본 논문에서는 도메인 적응 과정에서 공통적인 구조적 규칙성(예: 반복적인 구조 패턴, 평면 표면, 대칭성 등)을 고려하여 단안 깊이 추정을 위한 도메인 특징 전이를 보다 효과적으로 수행하기 위해, 새로운 접근법인 구조 주의 메모리 네트워크(Structure-Attentioned Memory Network)를 제안한다. 이를 위해 RGB 이미지 도메인과 깊이 도메인 간의 구조 특화된 정보를 학습하고 기억하기 위한 새로운 구조 지향 메모리(SOM, Structure-Oriented Memory) 모듈을 도입한다. 구체적으로, SOM 모듈 내에서 구조 인지 이미지-깊이 잔차 패턴을 기억하는 필터 집합을 학습하는 메모리 가능한 필터 은행(MBF, Memorable Bank of Filters) 단위와, 이미지 특징 쿼리에 따라 MBF 내 필터 선택을 제어하는 주의 유도 제어기(AGC, Attention Guided Controller) 단위를 개발하였다. 쿼리 이미지 특징이 입력되면, 학습된 SOM 모듈은 이미지와 깊이 간의 최적의 구조적 차이를 유지하면서 교차 도메인 특징 전이에 가장 적합한 맞춤형 필터를 적응적으로 선택할 수 있다. 요약하자면, 본 연구는 구조 특화된 도메인 적응 문제를 해결하기 위해 단안 깊이 추정을 위한 새로운 엔드 투 엔드 다중 스케일 메모리 네트워크를 제안한다. 실험 결과, 제안하는 모델은 도전적인 KITTI 및 NYU Depth V2 벤치마크에서 기존의 지도 학습 기반 단안 깊이 추정 방법들에 비해 우수한 성능을 보였다.