LT-GAN: 잠재 변환 탐지 기반 자기지도 학습 GAN

생성적 적대 네트워크(GAN)와 자기지도 학습 태스크를 결합한 기법은 무조건적 및 반자기지도 이미지 생성에서 유망한 성과를 보여왔다. 본 연구에서는 생성기의 잠재공간을 변형함으로써 생성된 이미지에 유도되는 변환(GAN에 의해 유도되는 변환)을 추정함으로써 이미지 생성 품질과 다양성을 향상시키는 자기지도 학습 접근법(LT-GAN)을 제안한다. 구체적으로, 각 쌍이 생성된 이미지와 그 변환된 버전으로 구성된 두 쌍의 이미지를 고려할 때, 자기지도 학습 태스크는 주어진 쌍에 적용된 잠재공간 변환과 다른 쌍에 적용된 변환이 동일한지를 식별하는 것을 목표로 한다. 따라서 이 보조 손실은 생성기에게 보조 네트워크에 의해 구분 가능한 이미지를 생성하도록 유도하며, 이는 잠재공간 변환에 대해 의미적으로 일관된 이미지 합성을 촉진한다. 제안된 사전 학습 태스크의 효과를 입증하기 위해, CIFAR-10, CelebA-HQ, ImageNet 데이터셋에서 조건부 및 무조건적 설정 모두에서 최신 기법을 기반으로 한 모델들에 대해 FID 기준으로 이미지 생성 품질을 향상시켰다. 또한, 기준 모델 대비 CelebA-HQ 및 ImageNet에서 제어 가능한 이미지 편집 성능이 향상됨을 실증적으로 보였다. 실험을 통해 제안한 LT 자기지도 학습 태스크가 다른 최신 기술들과 효과적으로 결합될 수 있음을 입증하였으며, 그 결과 조건부 CIFAR-10 이미지 생성에서 새로운 최고 성능(FID 점수 9.8)을 달성함을 보였다.