확률 비율 클리핑과 샘플 재가중을 통한 GAN 학습 개선

시각과 관련된 다양한 문제에서 성공을 거두고 있음에도 불구하고, 생성적 적대 신경망(GAN)은 특히 텍스트 생성에 있어서 불안정한 학습으로 인해 성능이 낮아지는 경향이 있다. 이 문제를 해결하기 위해 우리는 훨씬 뛰어난 학습 안정성을 보이는 새로운 변분적 GAN 학습 프레임워크를 제안한다. 본 연구의 접근법은 변분적 관점에서 GAN과 강화학습 간의 연결성에 영감을 받았다. 이 연결성은 (1) 생성기 학습을 정규화하여 과도한 업데이트를 방지하는 확률 비율 클리핑(probability ratio clipping)과 (2) 낮은 품질의 가짜 샘플을 감소시켜 판별기 학습을 개선하는 샘플 재가중(sample re-weighting) 메커니즘을 도출한다. 더불어, 본 변분적 GAN 프레임워크는 많은 GAN에서 발생하는 학습 문제—즉, 최적의 판별기가 생성기 학습에 유의미한 기울기를 제공할 수 없는 문제—를 수학적으로 극복할 수 있음을 입증할 수 있다. 다양한 최신 GAN 아키텍처에 본 학습 방식을 적용함으로써, 텍스트 생성, 텍스트 스타일 전이, 이미지 생성 등 다양한 작업에서 유의미한 성능 향상을 달성하였다.