초록
깊이 추정과 3D 객체 검출은 장면 이해에 있어 중요한 요소이지만, 이미지 캡처 과정에서 3D 정보가 손실되기 때문에 단일 이미지를 사용하여 수행하는 것은 여전히 어려움을 겪고 있습니다. 최근 딥 뉴럴 네트워크를 활용한 모델들은 단안 깊이 추정 성능을 향상시켰지만, 절대 깊이 예측과 표준 데이터셋 외의 일반화에는 여전히 어려움이 있습니다. 본 연구에서는 단안 깊이 추정 문제에 딥 옵틱스(Deep Optics) 패러다임, 즉 광학 설계와 이미지 처리의 엔드투엔드 설계를 도입하여, 신경망에서 해독될 수 있는 부호화된 초점 흐림(Coded Defocus Blur)을 추가적인 깊이 힌트로 사용합니다. 우리는 NYU Depth v2 및 KITTI 등 세 개의 데이터셋에서 깊이 추정을 위한 여러 가지 광학 부호화 전략과 엔드투엔드 최적화 방식을 평가하였습니다. 그 결과 최적화된 자유형 렌즈 설계가 가장 우수한 결과를 제공하였지만, 단일 렌즈에서 발생하는 색수차(chromatic aberration)도 상당히 성능을 향상시키는 것으로 나타났습니다. 우리는 물리적 프로토타입을 제작하고 실제 환경에서 색수차가 깊이 추정 성능을 개선함을 확인하였습니다. 또한 KITTI 데이터셋에서 객체 검출 네트워크를 학습시키고, 깊이 추정을 위해 최적화된 렌즈가 3D 객체 검출 성능에도 긍정적인 영향을 미치는 것을 보여주었습니다.