2달 전

상대론적 식별자: 표준 GAN에서 빠진 핵심 요소

Alexia Jolicoeur-Martineau
상대론적 식별자: 표준 GAN에서 빠진 핵심 요소
초록

표준 생성적 적대 신경망(SGAN)에서 판별자는 입력 데이터가 진짜일 확률을 추정합니다. 생성자는 가짜 데이터가 진짜일 확률을 높이는 방향으로 훈련됩니다. 우리는 다음과 같은 이유로 진짜 데이터가 진짜일 확률을 동시에 낮추는 것이 필요하다고 주장합니다: 1) 미니 배치의 절반은 가짜 데이터라는 사전 지식을 반영해야 하기 때문입니다, 2) 발산 최소화 과정에서 이 현상이 관찰되기 때문입니다, 3) 최적 조건에서는 SGAN이 적분 확률 메트릭(IPM) GAN과 동등해질 것입니다. 이 특성을 유도하기 위해 상대론적 판별자를 사용할 수 있습니다. 상대론적 판별자는 주어진 진짜 데이터가 임의로 샘플링된 가짜 데이터보다 더 현실적인지 여부를 추정합니다. 또한 판별자가 주어진 진짜 데이터가 평균적으로 가짜 데이터보다 더 현실적인지 여부를 추정하는 변형도 제시합니다. 우리는 이러한 두 접근법을 비표준 GAN 손실 함수에도 일반화하여 각각 상대론적 GAN(RGANs)와 상대론적 평균 GAN(RaGANs)이라고 부릅니다. 우리는 IPM 기반 GAN이 항등 함수를 사용하는 RGAN의 부분 집합임을 보여줍니다. 경험적으로, 다음과 같은 결과를 관찰하였습니다: 1) RGANs와 RaGANs는 비상대론적 대응 모델보다 훨씬 안정적이며 더 높은 품질의 데이터 샘플을 생성합니다, 2) 그래디언트 패널티를 사용한 표준 RaGAN은 WGAN-GP보다 더 좋은 품질의 데이터를 생성하면서도 생성자 업데이트당 단 하나의 판별자 업데이트만 필요하여 (최신 기술에 도달하는 시간을 400% 줄임), 3) RaGANs는 매우 작은 샘플(N=2011)에서도 가능한 고해상도 이미지(256x256)를 생성할 수 있으며, GAN과 LSGAN은 이를 할 수 없습니다; 이러한 이미지는 WGAN-GP와 SGAN에 스펙트럼 정규화를 적용한 경우보다도 훨씬 더 우수한 품질을 보입니다.