17일 전
초점 외상: 깊이 추정을 위한 합성 도메인과 실세계 도메인 간 격차 해소
Maxim Maximov, Kevin Galim, Laura Leal-Taixé

초록
데이터 기반 깊이 추정 방법은 실제 환경의 극도로 다양성 있는 특성으로 인해 훈련된 장면 외부로의 일반화에 어려움을 겪는다. 이 문제는 합성 이미지를 활용함으로써 부분적으로 해결될 수 있지만, 합성 데이터와 실제 데이터 간의 도메인 간 격차를 극복하는 것은 쉽지 않다. 본 논문에서는 도메인 불변 초점 왜곡 블러를 직접적인 감독 신호로 사용하여 이 문제에 대응한다. 우리는 초점이 다른 이미지 간의 차이점을 기반으로 하여, 순열 불변형 합성곱 신경망을 활용하여 초점 왜곡 특징을 유도한다. 제안하는 네트워크는 초점 왜곡 맵을 중간 감독 신호로 사용한다. 이를 통해 모델을 완전히 합성 데이터만으로 훈련시킨 후, 다양한 실제 이미지에 직접 적용할 수 있다. 합성 및 실제 데이터셋에서 모델을 평가한 결과, 뛰어난 일반화 성능과 최첨단 수준의 깊이 예측 성능을 입증하였다.