2달 전

일차 생성적 적대 네트워크

Calvin Seward; Thomas Unterthiner; Urs Bergmann; Nikolay Jetchev; Sepp Hochreiter
일차 생성적 적대 네트워크
초록

GANs는 고차원 분포를 학습하는 데 뛰어나지만, 목적 함수의 가장 가파른 하강 방향과 일치하지 않는 생성기 매개변수를 업데이트할 수 있습니다. 문제적인 업데이트 방향의 주요 예로는 굿펠로우(Goodfellow)의 원래 GAN과 WGAN-GP에서 사용된 방향이 있습니다. 최적의 업데이트 방향을 공식적으로 설명하기 위해, 우리는 목적 함수와 해당 업데이트 방향을 결정하는 방법에 대한 요구사항을 도출할 수 있는 이론적 프레임워크를 소개합니다. 이러한 요구사항은 가장 가파른 하강 방향으로 편향되지 않은 미니 배치 업데이트를 보장합니다. 우리는 와세르슈타인 거리를 근사하면서 비평가자의 1차 정보를 정규화하는 새로운 발산을 제안합니다. 이 발산과 함께 제공되는 업데이트 방향은 편향되지 않은 가장 가파른 하강 업데이트를 위한 요구사항을 충족시킵니다. 우리는 CelebA, LSUN 및 CIFAR-10 데이터셋에서 이미지 생성을 통해 우리의 방법, 즉 First Order GAN을 검증하고, One Billion Word 언어 생성 작업에서 새로운 최고 성능을 달성했습니다. 실험 재현용 코드가 제공됩니다.

일차 생성적 적대 네트워크 | 최신 연구 논문 | HyperAI초신경