데이터 효율적인 GAN 훈련을 위한 미분 가능한 증강

생성적 적대 신경망(GAN)의 성능은 훈련 데이터가 제한될 경우 크게 저하된다. 이는 주로 판별기(Discriminator)가 정확히 훈련 데이터셋을 기억하기 때문이며, 이를 해결하기 위해 우리는 실수와 가짜 샘플 모두에 다양한 미분 가능한 증강(differentiable augmentation)을 적용함으로써 GAN의 데이터 효율성을 향상시키는 간단한 방법인 '미분 가능한 증강(DiffAugment)'을 제안한다. 이전의 훈련 데이터를 직접 증강하는 시도는 실사 이미지의 분포를 왜곡시키는 결과를 초래하여 거의 효과가 없었으나, DiffAugment는 생성된 샘플에 대해 미분 가능한 증강을 적용할 수 있게 하여 훈련을 효과적으로 안정화시키고 더 나은 수렴을 이끌어낸다. 실험 결과, 무조건적 및 클래스 조건부 생성 모두에서 다양한 GAN 아키텍처와 손실 함수에 대해 제안한 방법이 일관된 성능 향상을 보였다. DiffAugment를 사용함으로써, ImageNet 128x128에 대해 FID 6.80, IS 100.8의 최고 수준 성능을 달성하였으며, FFHQ와 LSUN에서 1,000장의 이미지만으로 FID를 2~4배 감소시킬 수 있었다. 또한, 훈련 데이터의 20%만으로도 CIFAR-10 및 CIFAR-100에서 최상의 성능을 달성할 수 있었다. 마지막으로, 사전 훈련 없이 단 100장의 이미지만으로도 고해상도의 정밀한 이미지를 생성할 수 있으며, 기존의 전이 학습 알고리즘과 경쟁 가능한 성능을 보였다. 코드는 https://github.com/mit-han-lab/data-efficient-gans 에서 공개되어 있다.