초록
생성적 적대 네트워크(GANs)는 이미지 생성에서 사진처럼 사실적인 품질을 달성하였습니다. 그러나 이미지 내용을 가장 효과적으로 제어하는 방법은 여전히 미해결된 과제입니다. 본 연구에서는 LatentKeypointGAN을 소개합니다. 이는 공간 키포인트 집합에 대한 내부 조건부로 클래식 GAN 목적 함수를 기반으로 단일 과정으로 훈련되는 두 단계 GAN입니다. 이러한 키포인트들은 각각 생성된 객체와 그 부분의 위치와 스타일을 제어하는 외관 임베딩과 연관되어 있습니다. 우리는 적절한 네트워크 구조와 훈련 방식을 통해 도메인 지식이나 감독 신호 없이 이미지를 공간적 요소와 외관 요소로 분리하는 문제를 해결하였습니다. 우리는 LatentKeypointGAN이 재배치 및 키포인트 임베딩 교환을 통해 생성된 이미지를 재구성할 수 있는 해석 가능한 잠재 공간을 제공함을 보여주었습니다. 예를 들어, 다른 이미지의 눈, 코, 입을 결합하여 초상화를 생성할 수 있습니다. 또한, 키포인트와 일치하는 이미지를 명시적으로 생성함으로써 비감독형 키포인트 검출에 대한 새로운 GAN 기반 방법을 가능하게 하였습니다.