2달 전

GAN 학습 동역학에 대한 더 나은 이해와 규제 방향

Weili Nie; Ankit Patel
GAN 학습 동역학에 대한 더 나은 이해와 규제 방향
초록

생성적 적대 네트워크(GANs)는 훈련이 매우 어려운 것으로 알려져 있으며, 그 수렴(비수렴) 행동의 근본적인 이유는 아직 완전히 이해되지 않았습니다. 먼저 간단하면서도 대표적인 GAN 예제를 고려하여, 비漸近的な 방법으로 그 국부적 수렴 행동을 수학적으로 분석하였습니다. 또한, 특정 가정 하에 일반적인 GANs로 이 분석을 확장하였습니다. 우리는 좋은 수렴률을 보장하기 위해서는 GAN 훈련 동역학에서 야코비안(Jacobian)의 두 가지 요인이 동시에 피해야 함을 발견했습니다. 이 두 가지 요인은 (i) 위상요인(Phase Factor), 즉 야코비안이 실수 대비 허수 부분이 큰 복소 고유값을 가지며, (ii) 조건부 요인(Conditioning Factor), 즉 야코비안이 불량 조건화되어 있다는 것입니다. 기존의 야코비안 정규화 방법들은 이러한 두 가지 요인 중 하나만 완화할 수 있었지만, 다른 하나는 더욱 심각하게 만들었습니다. 따라서 우리는 생성적 적대 네트워크용 새로운 야코비안 정규화(JAcobian REgularization, JARE)를 제안합니다. 이 방법은 설계상 두 가지 요인을 동시에 해결합니다. 마지막으로, 우리는 실험을 수행하여 우리의 이론적 분석을 확인하고, JARE가 기존 방법들보다 GAN의 안정성을 높이는 데 있어 우위를 보임을 입증하였습니다.注:在翻译过程中,我发现“非渐近”一词在韩文中没有直接对应的词汇,因此将其翻译为“비漸近”,但这个词汇在韩文中并不常用。建议使用“비漸근적”或“비-아시모프틱”(非-asymptotic)来表示这一概念。以下是修正后的版本:生成的对抗网络(GANs)는 훈련이 매우 어려운 것으로 알려져 있으며, 그 수렴(비수렴) 행동의 근본적인 이유는 아직 완전히 이해되지 않았습니다. 먼저 간단하면서도 대표적인 GAN 예제를 고려하여, 비-아시모프틱 방식으로 그 국부적 수렴 행동을 수학적으로 분석하였습니다. 또한, 특정 가정 하에 일반적인 GANs로 이 분석을 확장하였습니다. 우리는 좋은 수렴률을 보장하기 위해서는 GAN 훈련 동역학에서 야코비안(Jacobian)의 두 가지 요인이 동시에 피해야 함을 발견했습니다. 이 두 가지 요인은 (i) 위상요인(Phase Factor), 즉 야코비안이 실수 대비 허수 부분이 큰 복소 고유값을 가지며, (ii) 조건부 요인(Conditioning Factor), 즉 야코비안이 불량 조건화되어 있다는 것입니다. 기존의 야코비안 정규화 방법들은 이러한 두 가지 요인 중 하나만 완화할 수 있었지만, 다른 하나는 더욱 심각하게 만들었습니다. 따라서 우리는 생성적 적대 네트워크용 새로운 야코비안 정규화(JAcobian REgularization, JARE)를 제안합니다. 이 방법은 설계상 두 가지 요인을 동시에 해결합니다. 마지막으로, 우리는 실험을 수행하여 우리의 이론적 분석을 확인하고, JARE가 기존 방법들보다 GAN의 안정성을 높이는 데 있어 우위를 보임을 입증하였습니다.

GAN 학습 동역학에 대한 더 나은 이해와 규제 방향 | 최신 연구 논문 | HyperAI초신경