고해상도 이미지 조화화를 위한 협업형 이중 변환 방식

복합 이미지가 주어졌을 때, 이미지 조화화(image harmonization)는 전경이 배경과 자연스럽게 어울리도록 조정하는 것을 목표로 한다. 고해상도 이미지 조화화는 높은 수요를 가지고 있지만 여전히 탐색되지 않은 영역이다. 기존의 이미지 조화화 방법들은 전역적인 RGB-to-RGB 변환을 학습하는 방식으로, 고해상도에 쉽게 확장 가능하지만 다양한 국소적 맥락을 무시한다. 최근의 딥러닝 기법들은 밀도 높은 픽셀 간 변환을 학습함으로써 조화로운 출력을 생성할 수 있지만, 저해상도에서 매우 제약을 받는다. 본 연구에서는 엔드투엔드 네트워크 내에서 픽셀 간 변환과 RGB-to-RGB 변환을 조화롭게 결합할 수 있는 고해상도 이미지 조화화 네트워크인 협업 이중 변환(Collaborative Dual Transformation, CDTNet)을 제안한다. 본 CDTNet은 픽셀 간 변환을 위한 저해상도 생성기, RGB-to-RGB 변환을 위한 색상 매핑 모듈, 그리고 두 가지 변환의 장점을 활용하는 보정 모듈로 구성되어 있다. 고해상도 벤치마크 데이터셋 및 우리가 생성한 고해상도 실제 복합 이미지에 대한 광범위한 실험을 통해, CDTNet이 효율성과 효과성 사이에서 우수한 균형을 이루고 있음을 입증하였다. 본 연구에서 사용한 데이터셋은 https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization 에서 확인할 수 있다.