PAD-Net: 동시 깊이 추정 및 장면 해석을 위한 다중 작업 지도 예측-증류 네트워크

깊이 추정과 장면 해석은 시각적 장면 이해에서 특히 중요한 두 가지 작업입니다. 본 논문에서는 깊이 추정과 장면 해석을 동시에 수행하는 결합된 CNN(Covolutional Neural Network)에 대한 문제를 다룹니다. 이 작업은 일반적으로 깊은 다중 작업 학습 문제로 취급됩니다[42]. 기존 방법들이 입력 훈련 데이터를 바탕으로 여러 작업을 직접 최적화하는 것과는 달리, 본 논문에서는 새로운 다중 작업 유도 예측 및 디스틸레이션 네트워크(PAD-Net, Prediction-and-Distillation Network)를 제안합니다. 이 PAD-Net은 먼저 저수준부터 고수준까지의 일련의 중간 보조 작업들을 예측하고, 그 다음 이러한 중간 보조 작업들의 예측 결과가 제안된 다중 모달 디스틸레이션 모듈을 통해 최종 작업의 다중 모달 입력으로 활용됩니다. 결합 학습 과정에서 중간 작업들은 더 강건한 깊은 표현을 학습하기 위한 감독 역할뿐만 아니라, 최종 작업의 성능 향상을 위해 풍부한 다중 모달 정보를 제공합니다. 깊이 추정과 장면 해석 작업 모두에 대해 NYUD-v2와 Cityscapes라는 두 개의 도전적인 데이터셋에서 광범위한 실험이 수행되어, 제안된 접근 방식의 효과성이 입증되었습니다.