고화질 소량 샘플 이미지 합성 위한 더 빠르고 안정화된 GAN 훈련 방향

고해상도 이미지에서 생성적 적대 신경망(GAN)을 훈련하는 것은 일반적으로 대규모 GPU 클러스터와 방대한 양의 훈련 이미지가 필요하다. 본 논문에서는 최소한의 계산 비용으로 GAN을 위한 소량 이미지 합성(few-shot image synthesis) 작업을 탐구한다. 우리는 1024×1024 해상도에서 뛰어난 품질을 달성하는 경량 GAN 구조를 제안한다. 특히 단일 RTX-2080 GPU에서 몇 시간 내에 초기 상태에서 수렴하며, 100장 미만의 훈련 샘플에서도 일관된 성능을 보인다. 본 연구의 핵심 기술적 설계는 두 가지로, 스킵 레이어 기반의 채널별 자극 모듈과 특징 인코더로 학습되는 자기지도 학습(Self-supervised) 디스커리미네이터이다. 다양한 이미지 도메인을 포함하는 13개의 데이터셋을 대상으로 실험한 결과, 데이터 및 계산 자원이 제한된 환경에서도 최첨단 기술인 StyleGAN2에 비해 본 모델이 뛰어난 성능을 보임을 입증하였다. (데이터셋 및 코드는 https://github.com/odegeasslbc/FastGAN-pytorch 에 공개되어 있음)