내재 이미지 조화화

이미지 합성은 일반적으로 전경과 배경이 서로 다른 이미지에서 온 것으로, 표면 특성과 조명 조건이 다를 경우 발생하는 불일치 문제를 피할 수 없다. 이는 재질에 따라 달라지는 반사 특성과 조명 조건에 따라 달라지는 조명 특성, 즉 각각 반사도(intrinsic reflectance) 및 조명도(intrinsic illumination)의 불일치로 인해 발생한다. 따라서 본 연구는 반사도와 조명도를 분리하여 각각 별도로 조화를 이루는 방식, 즉 내재 이미지 조화화(intrinsic image harmonization)를 통해 이미지 조화화 문제를 해결하고자 한다. 제안하는 방법은 자동인코더(autoencoder) 기반으로, 복합 이미지를 반사도와 조명도로 분리하여 이후 각각 독립적으로 조화화할 수 있도록 설계되었다. 구체적으로, 재질 일관성(penalty)을 통해 반사도를 조화화하고, 배경에서 전경으로 조명을 학습하고 전이하는 방식으로 조명도를 조화화한다. 또한, 복합 이미지의 전경과 배경 간의 패치 간 관계를 불일치 없이 학습하는 방식으로 모델링함으로써, 내재 이미지 조화화 과정을 적응적으로 안내한다. 광범위한 실험 및 제거 실험(ablation studies)을 통해 제안 방법의 강력한 성능과 각 구성 요소의 효과를 입증하였다. 또한, 조명 조화화를 평가하기 위한 새로운 도전적인 데이터셋을 공개하였다. 코드와 데이터셋은 https://github.com/zhenglab/IntrinsicHarmony 에서 확인할 수 있다.