DSRN: 이미지 재조명을 위한 효율적인 딥 네트워크

장면 이미지의 후처리 과정에서 사용자 정의 및 자연스러운 조명 조건을 재현할 수 있다. 이러한 목적을 위해 딥러닝 프레임워크의 뛰어난 능력을 활용할 수 있다. 딥 이미지 리라이팅(Deep Image Relighting)은 조명 특화 리터치를 통해 자동으로 사진을 향상시킬 수 있다. 그러나 현재까지 제안된 대부분의 최첨단 리라이팅 기법은 런타임에 부담이 크고 메모리 효율이 낮은 문제가 있다. 본 논문에서는 다양한 스케일에서 입력 이미지로부터 추출한 통합 특징을 활용하여, 효율적이고 실시간 동작이 가능한 딥 스택드 리라이팅 네트워크(Deep Stacked Relighting Network, DSRN)를 제안한다. 제안한 모델은 총 크기가 약 42MB에 불과한 매우 가벼운 구조를 가지고 있으며, 해상도 1024×1024인 이미지에 대해 평균 추론 시간이 약 0.0116초로, 다른 다중 스케일 모델들에 비해 더 빠른 성능을 보인다. 제안한 방법은 입력 이미지에서 목표 이미지로의 색온도 변환에 대해 매우 강건한 성능을 발휘하며, 목표 이미지에 대한 조도 기울기 생성에서도 중간 수준의 성능을 나타낸다. 또한, 서로 반대 방향에서 조명된 이미지를 입력으로 사용할 경우, 단일 입력 이미지에 비해 품질 측면에서 개선된 결과를 얻을 수 있음을 보여준다.