CSPN++: 깊이 완성용 문맥 및 자원 인식 합성곱 공간 전파 네트워크 학습

깊이 완성(Depth Completion)은 대응하는 색상 이미지가 주어진 경우 희소 깊이 맵을 밀도 있는 깊이 맵으로 변환하는 문제를 다룹니다. 합성곱 공간 전파 네트워크(Convolutional Spatial Propagation Network, CSPN)는 깊이 완성의 최신 기법 중 하나로, 장면의 구조적 세부 정보를 복원합니다. 본 논문에서는 CSPN++를 제안합니다. 이 방법은 각 픽셀에서 요청에 따라 동적으로 컨텍스트와 계산 자원을 할당할 수 있도록 적응형 합성곱 커널 크기와 전파 횟수를 학습하여 효과性和效率性을 더욱 향상시킵니다.구체적으로, 두 하이퍼파라미터의 학습을 아키텍처 선택 문제로 정식화하였습니다. 먼저 다양한 커널 크기와 반복 횟수의 구성이 정의되고, 그 다음 각 픽셀에서 사전 정의된 구성들을 적절히 조합하거나 선택하기 위한 소프트 가중치 매개변수가 훈련됩니다. 실험 결과, 가중 조합은 "컨텍스트 인식 CSPN"으로 명명되었으며, 상당한 정확도 개선을 가져왔습니다. 반면에 가중 선택은 "자원 인식 CSPN"으로 명명되었으며, 유사하거나 더 나은 정확도를 유지하면서 계산 자원을 크게 줄일 수 있었습니다.또한, CSPN++의 필요한 자원은 계산 예산에 따라 자동으로 조정될 수 있습니다. 마지막으로, 노이즈나 부정확한 희소 깊이의 부작용을 피하기 위해 CSPN++ 내부에 게이트 네트워크(gated network)를 내장하여 성능을 더욱 향상시켰습니다. 우리는 KITTI 깊이 완성 벤치마크에서 CSPN++의 효과성을 입증하였으며, 이는 CSPN 및 다른 최신 기법들보다 크게 개선되었습니다.