초록
이미지 합성은 사진 편집에서 흔하지만 중요한 역할을 한다. 사진처럼 자연스럽게 보이도록 합성 이미지를 생성하기 위해서는 전경 이미지의 외관과 시각적 스타일을 배경과 조화롭게 조정해야 한다. 기존의 딥러닝 기반 합성 이미지 조화화 기법들은 합성 이미지에서 실제 이미지로의 이미지 매핑 네트워크를 직접 학습하지만, 전경과 배경 이미지 간의 시각적 스타일 일관성에 대해 명시적인 탐색을 하지 않는다. 본 논문에서는 전경과 배경 간의 시각적 스타일 일관성을 보장하기 위해 이미지 조화화 문제를 스타일 전이 문제로 재정의한다. 구체적으로, 배경 이미지로부터 시각적 스타일을 명시적으로 추출하고 이를 전경에 적응적으로 적용하는 간단하면서도 효과적인 Region-aware Adaptive Instance Normalization (RAIN) 모듈을 제안한다. 제안한 설정을 통해 RAIN 모듈은 기존의 이미지 조화화 네트워크에 즉시 삽입하여 사용할 수 있으며, 상당한 성능 향상을 가져올 수 있다. 기존의 이미지 조화화 벤치마크 데이터셋을 대상으로 수행한 광범위한 실험 결과는 제안한 방법의 우수한 성능을 입증한다. 코드는 {https://github.com/junleen/RainNet}에서 제공된다.