저해상도 조건부를 이용한 이미지 간 번역

대부분의 이미지-이미지 번역 방법은 이미지 간의 콘텐츠(예: 자세)가 동일하지만 도메인 고유의 정보(일명 스타일)만 다를 것이라는 가정 하에 서로 다른 도메인 간의 매핑을 학습하는 데 초점을 맞추고 있다. 타겟 이미지를 조건으로 설정할 경우 이러한 방법들은 타겟 이미지의 스타일을 추출하고, 소스 이미지의 콘텐츠와 결합하는 것을 목표로 한다. 본 연구에서는 타겟 이미지의 해상도가 매우 낮은 경우를 고려한다. 구체적으로, 고해상도(HR) 소스 이미지에서 얻은 세부 정보를 저해상도(LR) 타겟 이미지의 거친 표현에 적절히 전달하는 것을 목표로 한다. 따라서 본 방법은 HR 및 LR 입력에서 공통된 특징을 공유하는 고해상도 이미지를 생성한다. 기존의 방법이 특정 이미지의 스타일을 타겟 콘텐츠로 변환하는 데 집중하는 것과 달리, 본 방법은 타겟의 스타일을 모방하면서 동시에 LR 타겟의 구조적 정보를 통합할 수 있다. 본 접근법은 생성 모델을 학습시켜, 1) 관련된 소스 이미지의 독특한 정보를 공유하고, 2) 저해상도화되었을 때 LR 타겟 이미지와 정확히 일치하는 고해상도 타겟 이미지를 생성하도록 한다. 우리는 CelebA-HQ 및 AFHQ 데이터셋에서 본 방법의 효과를 검증하여 시각적 품질, 다양성 및 커버리지 측면에서 개선된 결과를 보였다. 정성적 및 정량적 실험 결과는 내도메인 이미지 번역 상황에서 Stargan-v2와 같은 최첨단 기법보다 더 현실적인 샘플을 생성함을 입증하였다.