초록
본 논문에서는 두 데이터 소스 간의 상관관계를 이용하여 희소 깊이 완성(sparse depth completion)을 수행하는 종단간(end-to-end) 딥러닝 모델인 상관관계 완성 네트워크(Correlation For Completion Network, CFCNet)를 제안합니다. CFCNet은 RGB와 깊이 정보 사이의 의미론적으로 상관된 특징들을 최대한 포착하도록 학습됩니다. 이미지 픽셀 쌍들과 희소 깊이 맵에서 가시적인 측정치들을 통해 CFCNet은 서로 다른 데이터 소스 간의 특징 수준에서 상호 변환을 용이하게 합니다. 이러한 변환은 CFCNet이 대응되는 변환된 RGB 특징에 따라 결측 깊이 측정치들의 특징을 예측하고 데이터를 재구성할 수 있게 합니다. 우리는 정준상관분석(canonical correlation analysis)을 2차원 영역으로 확장하여 이를 우리의 학습 목표 중 하나로 설정하였습니다(즉, 2D 정준상관분석 또는 "2D2CCA 손실"입니다). 다양한 실제 희소 패턴을 가진 실내 및 실외 장면에서 진행된 광범위한 실험들은 우리의 CFCNet이 기존 최신 방법들에 비해 능력과 유연성을 보임을 검증하였습니다. 코드는 다음 주소에서 제공됩니다: https://github.com/choyingw/CFCNet.