초록
예시 기반 이미지 변환을 위한 일반적인 프레임워크를 제안한다. 이 프레임워크는 입력 이미지(예: 세분화 마스크, 에지 맵, 자세 키포인트 등)가 특정 도메인에 속할 때, 예시 이미지를 기반으로 실사 수준의 이미지를 합성한다. 출력 이미지는 예시 이미지 내 의미적으로 대응되는 객체들과 일치하는 스타일(예: 색상, 질감)을 갖는다. 우리는 도메인 간 대응 관계와 이미지 변환을 동시에 학습하는 방안을 제안하며, 두 작업이 서로 보완적으로 작용하므로 약한 감독 하에서도 효과적으로 학습할 수 있다. 서로 다른 도메인의 이미지는 먼저 밀도 높은 대응 관계가 형성되는 중간 도메인으로 정렬된다. 이후 네트워크는 예시 이미지 내 의미적으로 대응하는 패치의 외관 정보를 기반으로 이미지를 합성한다. 제안하는 방법의 효과성을 여러 이미지 변환 작업에서 입증하였다. 이미지 품질 측면에서 기존 최고 수준의 방법들을 크게 능가하며, 예시 이미지의 스타일을 충실하게 반영하면서도 의미적 일관성을 유지한다. 또한 본 방법이 다양한 응용 분야에서 유용함을 보여준다.