이미지 재조명(image relighting)은 증강현실(AR) 응용 분야로부터 영감을 받아 주목받는 중요한 연구 주제로 부상하고 있다. 물리 기반의 전통적 방법과 투명한 박스 형태의 딥러닝 모델이 개발되어 왔다. 기존의 딥 네트워크는 학습을 통해 최신 기술 수준을 달성하였지만, 학습 데이터가 제한적이거나 문제의 현상학적 특성을 충분히 반영하지 못할 경우(예: 밀도 높은 그림자 추가 또는 제거 등), 성능이 저하될 수 있다. 본 논문에서는 신경망에 물리적 통찰을 통합하는 새로운 모델을 제안한다. 구체적으로, 본 방법은 새로운 조명 설정 하에서 재조명된 이미지를 생성하기 위해 두 가지 서로 다른 전략을 활용하고, 이를 가중치 맵(w)을 통해 융합한다. 첫 번째 전략에서는 모델이 재조명된 이미지에 대한 물질 반사율 파라미터(알베도)와 장면의 조명/기하학적 파라미터(그림자, shading)를 예측한다(이 전략을 내재 이미지 분해(intrinsic image decomposition, IID)라 부른다). 두 번째 전략은 순수한 투명한 박스 접근 방식으로, 모델이 학습 단계에서 지도 데이터(ground-truth 이미지)와 손실 항목(loss terms)를 기반으로 가중치를 최적화하고, 직접적으로 재조명된 출력을 생성한다(이 전략을 직접 접근(direct)이라 부른다). 제안하는 방법은 일대일 재조명 문제와 임의의 조명 간 재조명(any-to-any relighting) 문제 모두에 적용 가능하며, 각 문제 유형에 맞는 특화된 구성 요소를 도입함으로써 모델의 성능을 향상시킨다. 1) 일대일 재조명의 경우, 장면 내 표면의 법선 벡터(normal vectors)를 도입하여 광택과 그림자의 조절을 이미지에 적절히 반영한다. 2) 임의의 조명 간 재조명의 경우, 특징 추출 능력을 향상시키기 위해 아키텍처에 추가적인 다중 해상도 블록(multiscale block)을 제안한다. VIDIT 2020 및 VIDIT 2021 데이터셋(NTIRE 2021 재조명 챌린지에서 사용된 데이터셋)을 대상으로 수행한 실험 결과에 따르면, 제안한 방법은 전통적인 품질 지표 및 인지적 손실(perceptual loss) 측면에서 많은 최신 기술 대비 우수한 성능을 보였다.