확률 분포 모델링을 통한 다양한 의미적 이미지 합성

시맨틱 이미지 합성은 시맨틱 레이아웃을 사진처럼 현실적인 이미지로 변환하는 문제로, 하나의 입력에 대해 여러 가지 출력이 가능한 일대다 매핑 문제에 해당한다. 최근에 놀라운 진전이 있었음에도 불구하고, 시맨틱 수준에서 다중 모달 결과를 효율적으로 생성할 수 있는 다양한 시맨틱 합성은 여전히 도전 과제로 남아 있다. 본 논문에서는 시맨틱 클래스 분포의 관점에서 새로운 다각적 시맨틱 이미지 합성 프레임워크를 제안한다. 이 방법은 시맨틱 수준뿐 아니라 인스턴스 수준에서도 자연스럽게 다양한 생성을 지원한다. 이를 위해 클래스 수준의 조건부 조절 매개변수를 이산 값이 아닌 연속적인 확률 분포로 모델링하고, 네트워크 내에서 일관성 있게 인스턴스 적응형 확률적 샘플링을 통해 각 인스턴스별 조절 매개변수를 추출한다. 또한, 쌍을 이룬 참조 이미지로부터 인코딩된 선형 편향 매개변수를 활용하여 사전 노이즈 재매핑 기법을 제안함으로써, 지도 학습을 촉진하고 테스트 시 인스턴스 스타일 제어를 예시 기반으로 가능하게 한다. 다양한 데이터셋에서 실시한 광범위한 실험 결과, 제안한 방법은 최신 기법들과 비교하여 우수한 다양성과 유사한 품질을 달성함을 확인할 수 있었다. 코드는 \url{https://github.com/tzt101/INADE.git}에서 공개될 예정이다.