딥 싱글 이미지 포트레이트 리라이팅

전통적인 물리 기반의 인물 사진 재조명 방법은 얼굴의 기하학적 구조, 반사 특성 및 조명을 추정하는 역조명 문제를 해결해야 한다. 그러나 얼굴 구성 요소의 정확한 추정이 어려울 경우 재조명 과정에서 강한 아티팩트가 발생하여 만족스럽지 않은 결과를 초래할 수 있다. 본 연구에서는 물리 기반의 인물 재조명 기법을 활용하여 대규모이고 고해상도의 '실외(인 더 와일드)' 인물 재조명 데이터셋(DPR)을 생성한다. 이후 이 데이터셋을 사용하여 깊은 합성곱 신경망(Convolutional Neural Network, CNN)을 학습시켜, 원본 이미지와 목표 조명을 입력으로 받아 재조명된 인물 이미지를 생성하도록 한다. 학습 과정은 물리 기반 재조명 기법에서 발생하는 아티팩트를 제거하도록 결과를 정규화한다. 또한, 재조명된 인물 이미지의 품질을 향상시키기 위해 GAN 손실(GAN loss)을 추가로 적용한다. 학습된 네트워크는 최대 1024×1024 해상도의 인물 이미지에 대해 재조명을 수행할 수 있다. 제안한 방법은 제안한 DPR 데이터셋, Flickr 인물 데이터셋, Multi-PIE 데이터셋을 대상으로 정성적 및 정량적으로 평가되었으며, 실험 결과 제안 방법이 최신 기술 수준(SOTA)의 성능을 달성함을 보였다. 데이터셋 및 코드는 https://zhhoper.github.io/dpr.html 에서 확인할 수 있다.