자기지도 GAN: 다중 클래스 미니맥스 게임을 통한 분석 및 개선

자기지도학습(self-supervised, SS)은 레이블이 없는 데이터를 활용한 표현 학습에 효과적인 접근 방식이다. 최근 들어 이 기법은 생성적 적대 신경망(generative adversarial networks, GAN) 학습에 적용되고 있다. 특히, GAN의 판별자(discriminator)에서 발생하는 치명적인 기억 소실(catastrophic forgetting) 문제를 해결하기 위해 SS 작업이 제안되었다. 본 연구에서는 SS 작업이 생성자(generator) 학습과 어떻게 상호작용하는지 깊이 있게 분석한다. 분석을 통해, 극도로 모드 붕괴(mode-collapsed)된 생성자라도 SS 작업에서 뛰어난 성능을 발휘할 수 있도록 만드는 SS 작업의 문제점을 규명하였다. 이러한 문제를 해결하기 위해, 다중 클래스 미니맥스 게임(minimax game) 기반의 새로운 SS 작업을 제안한다. 제안한 SS 작업 간의 경쟁 구조는 생성자가 데이터 분포를 더 잘 학습하고 다양한 샘플을 생성하도록 유도한다. 본 연구는 이론적 및 실증적 분석을 통해 제안한 SS 작업이 더 우수한 수렴 성질을 가짐을 입증한다. 또한, 제안한 SS 작업을 두 가지 다른 GAN 기준 모델에 통합하여 실험을 수행하였다. 실험 결과, CIFAR-10, CIFAR-100, STL-10, CelebA, ImageNet $32\times32$, Stacked-MNIST 등의 데이터셋에서 기존 작업들을 상회하는 최첨단(FID) 점수를 달성하였으며, 일부 경우에서는 상당한 성능 향상을 보였다. 제안한 비조건부 GAN 모델은 레이블 데이터를 사용하지 않음에도 조건부 GAN의 성능에 근접하는 결과를 도출하였다. 코드 공개: https://github.com/tntrung/msgan