11일 전

인공 데이터셋에서 GAN의 훈련을 통해 얻은 교훈

Shichang Tang
인공 데이터셋에서 GAN의 훈련을 통해 얻은 교훈
초록

최근 몇 년간 생성적 적대 신경망(GANs)은 현실적인 이미지를 합성하는 데 큰 진전을 이루었다. 그러나 GAN은 종종 샘플 수가 너무 적거나, 서로 다른 데이터 분포에 속한 클래스 수가 너무 많은 이미지 데이터셋에서 훈련되는 경우가 많다. 이로 인해 GAN은 과소적합(underfitting) 또는 과적합(overfitting)에 취약해지며, 그 분석이 어려워지고 제약을 받게 된다. 따라서 데이터셋이 가져오는 불필요한 간섭을 피하면서 GAN에 대한 철저한 연구를 수행하기 위해, 우리는 무한한 샘플이 존재하고 진정한 데이터 분포가 단순하며 고차원적이며 구조적인 다양체(structured manifolds)를 가지는 인공 데이터셋 위에서 GAN을 훈련시켰다. 또한 생성기(generators)는 최적의 파라미터 집합이 존재하도록 설계되었다. 실험적으로 우리는 다양한 거리 측도 하에서 GAN 학습 절차가 이러한 최적 파라미터를 학습하지 못한다는 것을 발견하였다. 또한 모델 복잡도가 충분히 높은 상황에서, 네트워크의 깊이 또는 폭을 늘리는 것보다 GAN의 혼합(mixture)을 훈련하는 것이 더 큰 성능 향상을 가져온다는 점도 확인하였다. 실험 결과, 생성기의 혼합은 비지도(unsupervised) 환경에서 다양한 모드 또는 클래스를 자동으로 탐지할 수 있음을 보여주었으며, 이는 여러 생성기와 판별기 간에 생성 및 판별 작업이 분산되어 있기 때문이라고 판단된다. 본 연구의 결론이 실제 데이터셋에도 일반화될 수 있음을 보여주는 예로, CIFAR-10 데이터셋에 대해 GAN의 혼합을 훈련하였으며, 전통적인 평가 지표인 Inception Score(IS)와 Fréchet Inception Distance(FID)에서 기존 최고 성능을 크게 상회하는 결과를 얻었다.

인공 데이터셋에서 GAN의 훈련을 통해 얻은 교훈 | 최신 연구 논문 | HyperAI초신경