비국소적 공간 전파 네트워크를 이용한 깊이 완성

본 논문에서는 깊이 완성에 사용할 수 있는 견고하고 효율적인 엔드투엔드 비국소 공간 전파 네트워크를 제안합니다. 제안된 네트워크는 RGB 이미지와 희소 깊이 이미지를 입력으로 받아 각 픽셀의 비국소 이웃과 그 친화도, 그리고 픽셀별 신뢰도를 포함한 초기 깊이 맵을 추정합니다. 초기 깊이 예측은 예측된 비국소 이웃과 해당 친화도를 기반으로 신뢰도와 비국소 공간 전파 절차를 통해 반복적으로 개선됩니다. 기존 알고리즘이 고정된 국소 이웃을 활용하는 것과 달리, 제안된 알고리즘은 전파 과정에서 관련 없는 국소 이웃을 효과적으로 피하고 관련 있는 비국소 이웃에 집중합니다. 또한, 본 연구에서는 기존 방법보다 친화도 조합을 더 잘 학습할 수 있는 학습 가능한 친화도 정규화를 소개합니다. 제안된 알고리즘은 기존의 깊이 추정/완성 알고리즘들이 직면하는 주요 문제 중 하나인 깊이 경계에서의 혼합깊이 문제에 대해 본질적으로 견고합니다. 실내 및 실외 데이터셋에 대한 실험 결과는 제안된 알고리즘이 깊이 완성 정확도와 혼합깊이 문제에 대한 견고성 측면에서 기존 알고리즘들보다 우수함을 보여줍니다. 우리의 구현은 프로젝트 페이지에서 공개적으로 이용 가능합니다.