12일 전

회절 회전에서의 종단 간 학습: 깊이 및 이미지 재구성 동시 수행

Mazen Mel, Muhammad Siddiqui, Pietro Zanuttigh
회절 회전에서의 종단 간 학습: 깊이 및 이미지 재구성 동시 수행
초록

단안 깊이 추정은 문제 자체의 불량 설정(ill-posed nature)으로 인해 여전히 열린 도전 과제로 남아 있다. 딥러닝 기반 기법들은 광범위하게 연구되어 왔으며, 단일 RGB 입력 이미지 내에 의미 있는 및 강건한 깊이 정보가 부족함에도 불구하고 합리적인 깊이 추정 정확도를 달성할 수 있음을 입증하였다. 단일 이미지 내의 깊이 정보 부족은 이러한 기법들의 성능을 심각하게 제한한다. 위상 및 진폭 마스크를 사용하는 코딩된 어퍼처 기반 방법은 깊이에 따라 달라지는 점확산함수(Point Spread Function, PSF)를 이용하여 2차원 이미지 내에 강력한 깊이 정보를 인코딩하지만, 이미지 품질이 저하되는 대가를 치른다. 본 논문에서는 회절 회전을 통한 깊이 추정을 위한 새로운 엔드투엔드 학습 접근법을 제안한다. 초점이 벗어난 정도에 따라 회전하는 점확산함수(Rotating Point Spread Function, RPSF)를 생성하는 위상 마스크와 깊이 추정 신경망의 가중치를 동시에 최적화한다. 이를 위해, 어퍼처 마스크에 대한 미분 가능한 물리 모델을 제안하고 카메라 이미징 파이프라인의 정밀한 시뮬레이션을 활용한다. 제안하는 방법은 기존 방법에 비해 훨씬 더 단순한 모델 구조와 적은 양의 학습 데이터를 요구하면서도 실내 기준 데이터셋에서 단안 깊이 추정 과제에서 우수한 성능을 보였다. 또한, RPSF로 인한 블러를 제거하고 모든 초점이 맞춰진 선명한 이미지를 복원하기 위해 비맹검(non-blind)이고 비균일(non-uniform)한 이미지 복원 모듈을 도입하여 이미지 품질 저하 문제를 해결하였다.