초록
현재 단일 이미지 깊이 추정 방법은 실제 이미지-깊이 쌍 또는 스테레오 쌍을 사용한 훈련 데이터셋을 활용하지만, 이러한 데이터를 얻기는 쉽지 않습니다. 본 연구에서는 합성 이미지-깊이 쌍과 비대응 실제 이미지를 사용하여 훈련된 프레임워크를 제안합니다. 이 프레임워크는 입력 이미지의 현실감을 높이는 이미지 변환 네트워크와 그 다음에 깊이 예측 네트워크로 구성됩니다. 핵심 아이디어는 첫 번째 네트워크가 광범위한 입력 변환기 역할을 하여, 합성 이미지나 실제 이미지를 모두 받아들여 이상적으로 최소한으로 수정된 현실적인 이미지를 생성하는 것입니다. 훈련 입력이 실제일 때는 재구성 손실(reconstruction loss)을, 합성일 때는 GAN 손실(GAN loss)을 통해 이를 수행하며, 이로 인해 휴리스틱 자기 규제(self-regularization)의 필요성을 제거합니다. 두 번째 네트워크는 합성 이미지-깊이 쌍에 대한 작업 손실(task loss)로 훈련되며, 추가적으로 GAN 손실을 사용하여 실제와 합성 특징 분포를 통합합니다. 중요한 점은 이 프레임워크가 엔드투엔드(end-to-end)로 훈련될 수 있다는 것입니다. 이는 좋은 결과를 가져오며, 실제로 초기 딥러닝 방법 중 실제 대응 데이터를 사용하는 것보다 우수한 성능을 보입니다.