이미지 라이트 소스 조작을 위한 딥 리라이팅 네트워크

주어진 이미지의 조명 소스를 조작하는 것은 사진 촬영 및 영화 제작 등 다양한 응용 분야에서 유용하며 흥미로운 과제이다. 기존의 방법들은 일반적으로 장면의 기하학적 구조와 같은 추가 정보를 필요로 하며, 이는 대부분의 이미지에 대해 제공되지 않을 수 있다. 본 논문에서는 단일 이미지 재조명(single image relighting) 문제를 정의하고, 세 가지 구성 요소로 이루어진 새로운 딥 재조명 네트워크(Deep Relighting Network, DRN)를 제안한다. 첫째, 장면 재구성(scene reconstruction)은 깊이 있는 오토인코더 네트워크를 통해 주요 장면 구조를 추출하는 것을 목표로 한다. 둘째, 그림자 사전 추정(shadow prior estimation)은 적대적 학습(adversarial learning)을 통해 새로운 조명 방향에서의 조명 효과를 예측한다. 셋째, 재렌더러(re-renderer)는 주요 구조와 재구성된 그림자 시각을 결합하여 대상 조명 조건 하에서의 최종 재조명 결과를 생성한다. 실험 결과는 제안한 방법이 다른 가능한 방법들보다 정성적·정량적으로 모두 우수함을 보여준다. 특히, 제안된 DRN은 2020년 ECCV 회의에서 개최된 'AIM2020 - Any to one relighting challenge'에서 최고의 PSNR 성능을 달성하였다.