4달 전

MMD-GAN 훈련 개선을 위한 반발 손실 함수의 활용

Wei Wang; Yuan Sun; Saman Halgamuge
MMD-GAN 훈련 개선을 위한 반발 손실 함수의 활용
초록

생성적 적대 네트워크(GANs)는 데이터 샘플링 과정을 학습하는 데 널리 사용되며, 제한된 계산 자원이 주어진 경우 그 성능은 손실 함수에 크게 의존할 수 있다. 본 연구에서는 최대 평균 분산(MMD)을 GAN의 손실 함수로 사용하는 MMD-GAN을 재검토하고 두 가지 기여를 한다. 첫째, 기존의 MMD 손실 함수가 실제 데이터의 판별기 출력을 축소하려 하므로 데이터의 미세한 세부 사항 학습을 저해할 수 있다는 점을 논한다. 이 문제를 해결하기 위해, MMD의 항들을 단순히 재배열하여 실제 데이터 간의 차이점을 적극적으로 학습하도록 하는 반발력 손실 함수를 제안한다. 둘째, 힌지 손실에서 영감을 얻어, 반발력 손실 함수와 함께 MMD-GAN의 훈련을 안정화시키기 위한 유계 가우시안 커널을 제안한다. 제안된 방법들은 CIFAR-10, STL-10, CelebA, LSUN 침실 데이터셋에서 비지도 이미지 생성 작업에 적용되었다. 결과는 반발력 손실 함수가 추가적인 계산 비용 없이 MMD 손실보다 크게 개선되었으며, 다른 대표적인 손실 함수들보다 우수함을 보여준다. 제안된 방법들은 단일 DCGAN 네트워크와 스펙트럼 정규화를 사용하여 CIFAR-10 데이터셋에서 FID 점수 16.21을 달성하였다.