17일 전
다중모달 조건부 이미지 합성: 전문가 곱(GAN)을 활용한 방법
Xun Huang, Arun Mallya, Ting-Chun Wang, Ming-Yu Liu

초록
기존의 조건부 이미지 생성 프레임워크는 텍스트, 세그멘테이션, 스케치, 스타일 참조와 같은 단일 모달 입력을 기반으로 이미지를 생성한다. 이러한 프레임워크는 다중 모달 입력이 가능할 때에도 이를 효과적으로 활용하지 못하는 경우가 많아 실용성에 한계가 있다. 이 제약을 해결하기 위해, 우리는 다중 입력 모달 또는 그 일부(또는 빈 집합 포함)에 조건부로 이미지를 생성할 수 있는 Product-of-Experts 생성적 적대망( PoE-GAN ) 프레임워크를 제안한다. PoE-GAN은 전문가의 곱(Product-of-Experts) 구조를 가진 생성기와 다중 모달 다스케일 투영 판별기로 구성된다. 철저하게 설계된 학습 방식을 통해 PoE-GAN은 높은 품질과 다양성을 갖춘 이미지를 학습하여 생성할 수 있다. 다중 모달 조건부 이미지 생성 분야에서 최신 기술을 선도하는 동시에, 단일 모달 설정에서 기존 최고의 단일 모달 조건부 이미지 생성 방법보다도 우수한 성능을 보였다. 프로젝트 웹사이트는 다음 주소에서 확인할 수 있다: https://deepimagination.github.io/PoE-GAN