도메인 적응을 이용한 깊이 있는 초점 밖 맵 추정

본 논문에서는 공간적으로 변화하는 부초점 지도(Defocus Map) 추정을 위한 최초의 엔드투엔드 컨볼루션 신경망(CNN) 아키텍처인 부초점 지도 추정 네트워크(Defocus Map Estimation Network, DMENet)를 제안한다. 네트워크를 학습시키기 위해 각 이미지가 진실된 깊이 맵과 함께 합성적으로 흐리게 처리된 새로운 심도장(DoF, Depth-of-Field) 데이터셋인 SYNDOF를 생성하였다. SYNDOF는 합성 데이터이기 때문에, SYNDOF 내 이미지의 특징 특성은 실제 부초점 처리된 사진과 다를 수 있다. 이러한 차이를 보완하기 위해, 실제 부초점 이미지의 특징을 합성적으로 흐려진 이미지의 특징으로 전이하는 도메인 적응( domain adaptation) 기법을 사용한다. 본 DMENet는 흐림 추정, 도메인 적응, 콘텐츠 보존, 선명도 보정 네 가지 하위 네트워크로 구성되어 있으며, 각 하위 네트워크는 서로 연결되어 있으며, 해당하는 지도 정보를 함께 사용하여 엔드투엔드 방식으로 공동 학습된다. 제안한 방법은 공개된 흐림 감지 및 흐림 추정 데이터셋을 기반으로 평가되었으며, 그 결과 기존의 최고 수준의 성능을 달성함을 보였다.