DoveNet: 도메인 검증을 통한 깊이 있는 이미지 조화화

이미지 조합은 이미지 처리에서 중요한 작업이지만, 전경과 배경 간의 일관성 부족은 복합 이미지의 품질을 크게 저하시킨다. 전경을 배경과 조화롭게 만드는 것을 목표로 하는 이미지 조화화(image harmonization)는 유망하지만 도전적인 과제이다. 그러나 이미지 조화화를 위한 고품질의 공개 데이터셋이 부족하여 기술의 발전이 크게 저해되고 있다. 본 연구에서는 COCO(또는 Adobe5k, Flickr, day2night) 데이터셋을 기반으로 합성된 복합 이미지를 이용하여 이미지 조화화 데이터셋 iHarmony4를 제안하며, 이를 바탕으로 HCOCO(또는 HAdobe5k, HFlickr, Hday2night) 서브 데이터셋을 구성하였다. 또한, 전경이 배경과 동일한 도메인으로 변환되어야 한다는 통찰을 바탕으로 새로운 도메인 검증 판별기(domain verification discriminator)를 도입한 딥러닝 기반 이미지 조화화 방법 DoveNet을 제안하였다. 본 연구에서 구축한 데이터셋을 기반으로 실시한 광범위한 실험을 통해 제안된 방법의 효과성을 입증하였다. 본 연구의 데이터셋 및 코드는 https://github.com/bcmi/Image_Harmonization_Datasets 에서 공개되어 있다.