17일 전

적응형 가중치 판별기 기반 생성적 적대 신경망 훈련 방법

Vasily Zadorozhnyy, Qiang Cheng, Qiang Ye
적응형 가중치 판별기 기반 생성적 적대 신경망 훈련 방법
초록

생성적 적대 신경망(GAN)은 전통적인 비지도 기계학습에서 가장 중요한 신경망 모델 중 하나로 부상하였다. 다양한 판별기 손실 함수가 개발되어 GAN의 판별기 학습에 활용되었으며, 이들 모두는 공통적인 구조를 가지는데, 실제 데이터와 생성 데이터에 각각 의존하는 실제 손실과 가짜 손실의 합으로 구성된다. 두 손실을 동일한 가중치로 합산하는 방식의 한 가지 도전 과제는, 한쪽 손실의 학습에 도움이 되는 방향으로 학습이 진행될 경우 다른 손실은 오히려 악화될 수 있다는 점이다. 본 연구에서는 이러한 문제로 인해 안정성 저하와 모드 붕괴(mode collapse)가 발생함을 보여준다. 이에 따라 본 논문에서는 실제 손실과 가짜 손실의 가중합을 채택하는 새로운 판별기 손실 함수의 가족을 제안하며, 이를 적응형 가중 손실 함수(adaptive weighted loss function, aw-loss 함수)라고 명명한다. 실제 및 가짜 손실 부분의 기울기를 활용하여, GAN의 안정성에 유리한 방향으로 판별기 학습을 위한 가중치를 적응적으로 선택할 수 있다. 본 방법은 실제 손실과 가짜 손실의 합으로 구성된 손실을 가지는 모든 판별기 모델에 적용 가능하다. 실험을 통해 제안한 손실 함수의 효과성이 무조건적 이미지 생성 과제에서 검증되었으며, CIFAR-10, STL-10, CIFAR-100 데이터셋에서 Inception Score와 FID 지표에서 기준 성능 대비 유의미한 개선을 보였다.

적응형 가중치 판별기 기반 생성적 적대 신경망 훈련 방법 | 최신 연구 논문 | HyperAI초신경