다중 모드 이미지-이미지 변환을 향하여

많은 이미지-이미지 변환 문제는 모호한 경우가 많습니다. 하나의 입력 이미지가 여러 가능한 출력에 대응할 수 있기 때문입니다. 본 연구에서는 조건부 생성 모델링 환경에서 가능한 출력들의 \emph{분포}를 모델링하는 것을 목표로 합니다. 매핑의 모호성은 저차원 잠재 벡터에 집약되며, 이 벡터는 테스트 시점에서 무작위로 샘플링될 수 있습니다. 생성기는 주어진 입력과 이 잠재 코드를 결합하여 출력으로 변환하는 방법을 학습합니다. 우리는 출력과 잠재 코드 간의 연결이 역변환 가능하도록 명시적으로 장려합니다. 이는 훈련 중에 잠재 코드에서 출력으로의 다대일 매핑, 즉 모드 붕괴 문제를 방지하는 데 도움이 되며, 더 다양한 결과를 생성합니다. 우리는 다른 훈련 목적 함수, 네트워크 아키텍처, 그리고 잠재 코드 주입 방법을 사용하여 이 접근법의 여러 변형을 탐구하였습니다. 제안된 방법은 잠재 인코딩과 출력 모드 간의 전단사 일관성을 장려합니다. 우리는 지각적 실감성과 다양성 측면에서 제안된 방법과 다른 변형들을 체계적으로 비교하였습니다.